Scrapy 多个爬虫 顺序启动 和 间歇式启动
scrapy如何单线程顺序执行多个爬虫,刚开始我天真的以为将多个excute顺序罗列就能依次执行每个爬虫了,代码如下所示:
from scrapy.cmdline import execute
execute("scrapy crawl huanqiu_finance".split()) # 环球网execute("scrapy crawl ztcj".split()) # 智通财经网execute("scrapy crawl p5w".split()) # 全景网execute("scrapy crawl cs".split()) # 中国证券网execute("scrapy crawl ccstock".split()) # 证券日报execute("scrapy crawl ddxsb".split()) # 读懂新三板execute("scrapy crawl xinhuanet".split()) # 新华网execute("scrapy crawl money163".split()) # 网易财经
谁料,在执行完第一个爬虫之后,整个程序就停止运行了。到底是什么原因呢?笔者在 Stack Overflow 上找到了类似的问题(https://stackoverflow.com/questions/24875280/scrapy-cmdline-execute-stops-script)。得知问题的原因在于execute方法中的最后一句代码是sys.exit(cmd.exitcode),所以当程序执行完一个execute语句后便停止了。
那么,这个问题该如何解决呢?
思路1:测试execute能不能执行多个命令,即在execute方法中设置多个参数,或用列表的形式将多个命令组合在一起进行执行。--经测试,不行!
思路2:既然execute可以执行一条cmd命令,那么在scrapy.cmdline中有没有类似executeList的命令,它可以执行一个由多条命令组合在一起的列表命令集呢。--经测试,不行!
思路3:寻找可以替换execute的命令,只要能执行命令即可。
方法一:os.system (这也是我所遇到的最简单方法)
import os
os.system("scrapy crawl huanqiu_finance") # 1, 本身是阻塞型(顺序启动)
os.system("start scrapy crawl huanqiu_finance") # 2, 前面加 start 为非阻塞型(顺序启动)
方法二:subprocess.Popen
回贴可见
import subprocess
subprocess.Popen("scrapy crawl huanqiu_finance") # 1, 非阻塞型,子进程自己跑,主完事就完事了(多个同启)
with subprocess.Popen("scrapy crawl huanqiu_finance") as f: # 2, 非阻塞型,使用上下文管理器阻塞(顺序启动)
f.wait()
subprocess.call("scrapy crawl huanqiu_finance") # 3, 本身是阻塞型(顺序启动)
下面的这方法,笔者并没有尝试成功,暂时写在这里,有待进一步研究。
方法三:commands.getstatusoutput
import commands
commands.getstatusoutput("scrapy crawl huanqiu_finance")
拓展:如何实现多个爬虫循环顺序爬取
首先设置一个循环,接着为每一个爬虫设置一个定时器,让每一个爬虫爬虫一段时间,再运行下一个爬虫即可。具体代码如下,此处设置每一个爬虫运行3600秒
import oswhile True:
os.system("scrapy crawl xinhuanet -s CLOSESPIDER_TIMEOUT=3600") # 新华网
os.system("scrapy crawl money163 -s CLOSESPIDER_TIMEOUT=3600") # 网易财经
os.system("scrapy crawl ccstock -s CLOSESPIDER_TIMEOUT=3600") # 证券日报
os.system("scrapy crawl cs -s CLOSESPIDER_TIMEOUT=3600") # 中证网
os.system("scrapy crawl p5w -s CLOSESPIDER_TIMEOUT=3600") # 全景网
os.system("scrapy crawl ztcj -s CLOSESPIDER_TIMEOUT=3600") # 智通财经
os.system("scrapy crawl huanqiu_finance -s CLOSESPIDER_TIMEOUT=3600") # 环球财经
看看隐藏内容是啥 commands是自己写一个指令,不复杂但是不推荐,推荐使用下面的方法
import scrapy
from scrapy.crawler import CrawlerProcess
class MySpider1(scrapy.Spider):
# Your first spider definition
...
class MySpider2(scrapy.Spider):
# Your second spider definition
...
process = CrawlerProcess()
process.crawl(MySpider1)
process.crawl(MySpider2)
process.start()
多看看官方文档,里面写的很清楚 前来学习一下 学习学习 先回复再看 康康 感谢,给了我很大的启发 遇到同样的问题, 看完后很受启发, 赞 看看隐藏内容是啥