Scrapy 多个爬虫顺序启动和间歇式启动

ace · 发表于 2020-3-20 10:17:24

我康康

战神洞洞妖 · 发表于 2020-3-20 18:50:22

可以一次跑所有爬虫呀，写个方法就完事啦，不香吗？
from scrapy.utils.project import get_project_settings
from scrapy.crawler import CrawlerProcess

def run_all_spiders(self):
   settings = get_project_settings()
   process = CrawlerProcess(settings)

   for spider_name in process.spider_loader.list():
      # 不想跑的爬虫，这里加个条件，根据spider_name过滤下即可
      print(spider_name)
      process.crawl(spider_name)
   process.start()

Jayden · 发表于 2020-3-21 17:23:02

康康

kirinshy · 发表于 2020-3-24 11:22:23

学习学习

bridge · 发表于 2020-3-24 11:54:57

bridge · 发表于 2020-3-24 11:55:18

wwwchentan · 发表于 2020-4-1 09:50:42

看看隐藏内容是啥

Eamonn · 发表于 2020-4-15 21:05:35

看看隐藏内容是啥

Eamonn · 发表于 2020-4-15 21:05:56

学习了

Scrapy 多个爬虫 顺序启动 和 间歇式启动

鸢公子 LV

Scrapy 多个爬虫顺序启动和间歇式启动