请教一个需要账号登录的爬虫问题

开飞机的舒克

## 比如说类似某查查
一个网站给你赋予了一个账号（就是没账号不能看），在这个账号的基础上对频率进行监控，超频就跳验证码或者直接封一会儿IP，当然cookie里面带有请求IP信息这些，怎么快速批量采集这类网站呢？

vimin · 发表于 2019-11-25 17:52:29

IP代理

loco · 发表于 2019-11-25 18:03:18

这种只能是硬肛：堆账号、堆IP、堆设备
或者绕过：找没有账号、设备限制的其他客户端（因为IP好搞）

开飞机的舒克 · 发表于 2019-11-25 18:14:58

感谢建议，如果只能这样，有点难受啊

开飞机的舒克 · 发表于 2019-11-25 18:19:30

账号绑定了IP，不行啊老哥

非牛 · 发表于 2019-11-25 18:35:39

还是硬钢，花钱买专属代理专线，然后搞账号，把账号和代理绑一起，然后爬取时尽量一个链路逻辑爬，一般这么反爬的网站都是很值钱的信息

花儿谢了 · 发表于 2019-11-25 19:06:36

试下一个账号多次登录，构造cookie池。。。。这个有没有效果要看后端策略

crab_left · 发表于 2019-11-25 21:50:26

先用多个ip 一个账号去测试，看看会不会出验证，再用多个账号一个ip去测试。总之后台可能是根据ip封的，也有可能是根据ip和cookie封的，多测几次就知道了。

来自山村的放牛娃 · 发表于 2019-11-26 10:17:12

应该是对这一批请求做一个cookie绑定，这批请求就只用这个cookie的ip ，你需要做的是
1使用该ip去获取cookie
2携带该ip和cookie请求
3失败放弃该请求，扔回队列，重新获取ip对应的cookie

开飞机的舒克 · 发表于 2019-11-26 10:28:53

一个账号不算cookie池吧...