爬虫遇到了瓶颈，求大佬给一个思路

搬砖的手微微颤抖

爬虫项目遇到了瓶颈，主要是以下几个方面：

1.目标网站需账号登陆携带cookie方可访问，账号贵且比较冷门，账号池不可考虑。

2.网站反爬主要是两个方面：访问频率和异端登陆。访问频率超过限制封号；不能用代理，用代理100%封号。

3.现在情况是公司网段和服务器IP均已被黑名单，无法正常访问。

求一个解决思路，目前我能想到的只有定期换服务器或换服务器IP（每月？），把访问频率降到限制以内（10次/m），还有什么思路求指教。

孙大哥 · 发表于 2019-11-28 10:54:05

脚本部署在adsl服务器上，定时更换ip

开飞机的舒克 · 发表于 2019-11-28 11:00:29

不能换代理是不是cookie里绑定了IP，如果不是就不知道怎么做的了，如果是可以用代理IP登录，一个账号多个IP也许可行

qq16531218653 · 发表于 2019-11-28 11:14:50

用vps跑也可以，自己控制切换ip

zengyd · 发表于 2019-11-28 11:20:11

我也是同意楼上的，用ADSL的服务器呢

搬砖的手微微颤抖 · 发表于 2019-11-28 11:32:43

IP时效性怎么样，大家有没有推荐的啊

搬砖的手微微颤抖 · 发表于 2019-11-28 12:47:23

绑定IP

搬砖的手微微颤抖 · 发表于 2019-11-28 12:48:52

一般ADSL服务器配置够部署吗

duhongyu · 发表于 2019-12-11 16:07:02

从这个问题来看，基本就是反爬手段最恶心的一点，无限制的增加反爬成本
基本都是一个解决思路，单IP到达限制之后退出账户切换IP，这个IP一定是长效IP，比如ADSL或者代理家的长效独享IP

爬虫遇到了瓶颈，求大佬给一个思路

搬砖的手微微颤抖 LV1