回答

收藏

在Scrapy中使用cloudflare-scrape返回403

问答交流 问答交流 2020 人阅读 | 0 人回复 | 2020-08-11


qiang外网站,用的是cloudflare防火墙,在网上找到cloudflare-scrape单独测试没问题。整合到scrapy就是不行。代码如下。
def start_requests(self):    
    user_agent = self.settings['USER_AGENT'
    for url in self.start_urls:        
        tokens, agent = cfscrape.get_tokens(url, user_agent)
        yield scrapy.Request(url=url,
                                   cookies={'__cfduid': tokens['__cfduid']},
                                   headers={'User-Agent': agent})


分享到:
回复

使用道具 举报