unknown138
发表于 2020-3-19 12:59:18
111
ace
发表于 2020-3-20 10:17:24
我康康
战神洞洞妖
发表于 2020-3-20 18:50:22
可以一次跑所有爬虫呀,写个方法就完事啦,不香吗?
from scrapy.utils.project import get_project_settings
from scrapy.crawler import CrawlerProcess
def run_all_spiders(self):
settings = get_project_settings()
process = CrawlerProcess(settings)
for spider_name in process.spider_loader.list():
# 不想跑的爬虫,这里加个条件,根据spider_name过滤下即可
print(spider_name)
process.crawl(spider_name)
process.start()
Jayden
发表于 2020-3-21 17:23:02
康康
kirinshy
发表于 2020-3-24 11:22:23
学习学习
bridge
发表于 2020-3-24 11:54:57
1
bridge
发表于 2020-3-24 11:55:18
dd
wwwchentan
发表于 2020-4-1 09:50:42
看看隐藏内容是啥
Eamonn
发表于 2020-4-15 21:05:35
看看隐藏内容是啥
Eamonn
发表于 2020-4-15 21:05:56
学习了