百度搜索爬取url302跳转问题

杰神荡漾

各位大佬好

在爬百度搜索的时候会出现302跳转到验证码页面，然后我在scrapy的setting里面加上了
HTTPERROR_ALLOWED_CODES = [302]
然后就变成了这样：

2019-11-27 13:42:09 [scrapy.core.engine] DEBUG: Crawled (302) <GET https://m.baidu.com/s?word=%e7%b2%a4%e8%af%ad+%e4%b8%8b%e8%bd%bd&pn=90> (referer: https://m.baidu.com/s?word=%e7%b2%a4%e8%af%ad+%e4%b8%8b%e8%bd%bd&pn=90)

但是这样爬到的是没有数据的。




各位大佬除了切换ip还有什么其他办法吗