3回答

2收藏

scrapy 多spider的日志管理

问答交流 问答交流 2710 人阅读 | 3 人回复 | 2019-12-02


scrapy 多个spider可以动态定义name么?或者说多个spider是通过一个spider文件接收不同的参数来启动的,然后想要独立各自的log。我目前是建立多个spider文件,name不同,然后在custom_settings中根据name设置LOG_FILE名。考虑到多个spider文件都是同样的,只是name不同,不想生成多个文件。有什么好的解决方案么?
分享到:
回复

使用道具 举报

回答|共 3 个

来自山村的放牛娃

发表于 2019-12-2 17:31:35 | 显示全部楼层

我这边是重写启动命令 然后在这个地方重写日志,输出到不同的log文件
回复

使用道具 举报

xwg

发表于 2019-12-3 13:46:03 | 显示全部楼层

好吧,感谢感谢
回复

使用道具 举报

鸢公子

发表于 2020-3-11 17:56:17 | 显示全部楼层

class AaaSpider(scrapy.Spider):    
    name = 'aaa'
    custom_settings = {"LOG_FILE": f"./log/{name}log_{datetime.now().strftime('%Y.%m.%d_%H.%M.%S')}.log"}


回复

使用道具 举报