1赞

65回答

13收藏

Scrapy 多个爬虫 顺序启动 和 间歇式启动

信息分享 信息分享 22276 人阅读 | 65 人回复 | 2020-02-25


scrapy如何单线程顺序执行多个爬虫,刚开始我天真的以为将多个excute顺序罗列就能依次执行每个爬虫了,代码如下所示:

from scrapy.cmdline import execute

execute("scrapy crawl huanqiu_finance".split())  # 环球网execute("scrapy crawl ztcj".split())  # 智通财经网execute("scrapy crawl p5w".split())  # 全景网execute("scrapy crawl cs".split())  # 中国证券网execute("scrapy crawl ccstock".split())  # 证券日报execute("scrapy crawl ddxsb".split())  # 读懂新三板execute("scrapy crawl xinhuanet".split())  # 新华网execute("scrapy crawl money163".split())  # 网易财经
谁料,在执行完第一个爬虫之后,整个程序就停止运行了。到底是什么原因呢?笔者在 Stack Overflow 上找到了类似的问题(https://stackoverflow.com/questions/24875280/scrapy-cmdline-execute-stops-script)。得知问题的原因在于
  1. execute
复制代码
方法中的最后一句代码是
  1. sys.exit(cmd.exitcode)
复制代码
,所以当程序执行完一个execute语句后便停止了。

那么,这个问题该如何解决呢?
思路1:测试
  1. execute
复制代码
能不能执行多个命令,即在
  1. execute
复制代码
方法中设置多个参数,或用列表的形式将多个命令组合在一起进行执行。--经测试,不行!
思路2:既然
  1. execute
复制代码
可以执行一条
  1. cmd
复制代码
命令,那么在
  1. scrapy.cmdline
复制代码
中有没有类似
  1. executeList
复制代码
的命令,它可以执行一个由多条命令组合在一起的列表命令集呢。--经测试,不行!
思路3:寻找可以替换
  1. execute
复制代码
的命令,只要能执行命令即可。

方法一:
  1. os.system
复制代码
(这也是我所遇到的最简单方法)
import os
os.system("scrapy crawl huanqiu_finance")  # 1, 本身是阻塞型(顺序启动)
os.system("start scrapy crawl huanqiu_finance")  # 2, 前面加 start 为非阻塞型(顺序启动)

方法二:
  1. subprocess.Popen
复制代码
  1. 回贴可见
复制代码
import subprocess
subprocess.Popen("scrapy crawl huanqiu_finance")  # 1, 非阻塞型,子进程自己跑,主完事就完事了(多个同启)

with subprocess.Popen("scrapy crawl huanqiu_finance") as f: # 2, 非阻塞型,使用上下文管理器阻塞(顺序启动)
   f.wait()
  
subprocess.call("scrapy crawl huanqiu_finance")  # 3, 本身是阻塞型(顺序启动)
下面的这方法,笔者并没有尝试成功,暂时写在这里,有待进一步研究。

方法三:
  1. commands.getstatusoutput
复制代码
import commands
commands.getstatusoutput("scrapy crawl huanqiu_finance")
拓展:如何实现多个爬虫循环顺序爬取
首先设置一个循环,接着为每一个爬虫设置一个定时器,让每一个爬虫爬虫一段时间,再运行下一个爬虫即可。具体代码如下,此处设置每一个爬虫运行3600秒
import oswhile True:
    os.system("scrapy crawl xinhuanet -s CLOSESPIDER_TIMEOUT=3600")  # 新华网
    os.system("scrapy crawl money163 -s CLOSESPIDER_TIMEOUT=3600")  # 网易财经
    os.system("scrapy crawl ccstock -s CLOSESPIDER_TIMEOUT=3600")  # 证券日报
    os.system("scrapy crawl cs -s CLOSESPIDER_TIMEOUT=3600")  # 中证网
    os.system("scrapy crawl p5w -s CLOSESPIDER_TIMEOUT=3600")  # 全景网
    os.system("scrapy crawl ztcj -s CLOSESPIDER_TIMEOUT=3600")  # 智通财经
    os.system("scrapy crawl huanqiu_finance -s CLOSESPIDER_TIMEOUT=3600")  # 环球财经

分享到:
回复

使用道具 举报

回答|共 65 个

fuck

发表于 2020-2-25 20:50:15 | 显示全部楼层

看看隐藏内容是啥
回复

使用道具 举报

fuck

发表于 2020-2-25 20:54:41 | 显示全部楼层

commands是自己写一个指令,不复杂但是不推荐,推荐使用下面的方法
import scrapy
from scrapy.crawler import CrawlerProcess

class MySpider1(scrapy.Spider):
     # Your first spider definition
     ...

class MySpider2(scrapy.Spider):
     # Your second spider definition
     ...

process = CrawlerProcess()
process.crawl(MySpider1)
process.crawl(MySpider2)
process.start()
多看看官方文档,里面写的很清楚
回复

使用道具 举报

七仔

发表于 2020-2-25 23:02:26 | 显示全部楼层

前来学习一下
回复

使用道具 举报

strive

发表于 2020-3-2 09:22:29 | 显示全部楼层

学习学习
回复

使用道具 举报

buging

发表于 2020-3-3 22:30:56 | 显示全部楼层

先回复再看
回复

使用道具 举报

katerin

发表于 2020-3-4 11:34:06 | 显示全部楼层

康康
回复

使用道具 举报

午猫

发表于 2020-3-7 14:05:16 | 显示全部楼层

感谢,给了我很大的启发
回复

使用道具 举报

SR

发表于 2020-3-8 15:21:39 | 显示全部楼层

遇到同样的问题, 看完后很受启发, 赞
回复

使用道具 举报

a1772600

发表于 2020-3-18 08:46:19 | 显示全部楼层

看看隐藏内容是啥
回复

使用道具 举报