unknown138 发表于 2020-3-19 12:59:18

111

ace 发表于 2020-3-20 10:17:24

我康康

战神洞洞妖 发表于 2020-3-20 18:50:22

可以一次跑所有爬虫呀,写个方法就完事啦,不香吗?
from scrapy.utils.project import get_project_settings
from scrapy.crawler import CrawlerProcess

def run_all_spiders(self):
   settings = get_project_settings()
   process = CrawlerProcess(settings)

   for spider_name in process.spider_loader.list():
         # 不想跑的爬虫,这里加个条件,根据spider_name过滤下即可
         print(spider_name)
         process.crawl(spider_name)
   process.start()

Jayden 发表于 2020-3-21 17:23:02

康康

kirinshy 发表于 2020-3-24 11:22:23

学习学习

bridge 发表于 2020-3-24 11:54:57

1

bridge 发表于 2020-3-24 11:55:18

dd

wwwchentan 发表于 2020-4-1 09:50:42

看看隐藏内容是啥

Eamonn 发表于 2020-4-15 21:05:35

看看隐藏内容是啥

Eamonn 发表于 2020-4-15 21:05:56

学习了
页: 1 [2] 3 4 5 6 7
查看完整版本: Scrapy 多个爬虫 顺序启动 和 间歇式启动