3回答

0收藏

求教:沪江小D词典爬取,重定向问题

问答交流 问答交流 1573 人阅读 | 3 人回复 | 2020-08-14


请求次数多了之后,就会发生重定向

在查词失败后,也会出现重定向




目前不知道该怎么避免请求次数过多导致的重定向问题

也不知道如何区分查词失败的重定向和频繁请求的重定向



headers = {
    : :}


i (=):
    query = urllib.parse.quote()
    url = + query
    (url)
    headers[] = url
    r = requests.get(url=headers=)
    (r.status_code)


分享到:
回复

使用道具 举报

回答|共 3 个

shadowVii

发表于 2020-8-14 15:11:57 | 显示全部楼层

url = 'https://dict.hjenglish.com/jp/cj/' + query
回复

使用道具 举报

shadowVii

发表于 2020-8-14 15:16:46 | 显示全部楼层

requests.get(url, headers=headers, allow_redirects=False)
回复

使用道具 举报

shadowVii

发表于 2020-8-14 15:17:55 | 显示全部楼层

直接在网页上测试也可以看到重定向效果,连续点击查询,大概30次左右,本来有释义的词条也会返回空结果。
回复

使用道具 举报