3回答

1收藏

求问,scrapy使用代理 超时报错的问题

问答交流 问答交流 2284 人阅读 | 3 人回复 | 2019-12-24


我的scrapy使用的是日志等级INFO的等级,但使用啦代理,代理质量肯定很一般,日志里面出现大量error,timeout的问题,能不能在不修改源代码的情况下取消这个超时的报错,否则日志报错日志看的太累啦,




2019-12-23 15:05:47 [scrapy.core.scraper] ERROR: Error downloading <GET https://*********>

Traceback (most recent call last):

File "/usr/local/lib/python3.6/site-packages/scrapy/core/downloader/middleware.py", line 43, in process_request

defer.returnValue((yield download_func(request=request,spider=spider)))

twisted.internet.error.TimeoutError: User timeout caused connection failure.



分享到:
回复

使用道具 举报

回答|共 3 个

v5yangzai

发表于 2019-12-25 10:20:02 | 显示全部楼层

写个中间件接受这个异常可以吗
回复

使用道具 举报

l4537459

发表于 2019-12-25 10:25:46 | 显示全部楼层

中间件,可以写这个超时的异常?怎么写的啊
回复

使用道具 举报

YDXX丶

发表于 2019-12-25 10:26:18 | 显示全部楼层

2楼说得对
回复

使用道具 举报