【proxy_tower】来分享一下自己造的代理模块 开源软件 原创

worldwonderer 11月前 2521

proxy_tower

代理负载均衡模块,更高效率的使用代理池

可解决:

  1. 免费代理可用率低
  2. 付费代理过期时间不稳定,难以充分利用
  3. 一直使用无效代理

注:proxy_tower本身不抓取、嗅探代理

特性

  • 多倍转发
    • 支持将收到的代理请求转发给多个proxy
    • 返回最快并且有效的response

多倍转发可有效解决免费/不稳定代理使用率低的问题

  • response校验
    • pattern是目标站点的某个复用页面,通常有同样的URL前缀,类似的HTML结构,如豆瓣电影movie.douban.com/subject/
    • 通过前缀树存储pattern和对应的xpath或keyword校验规则,高效、简便的解决了多站点校验的问题
    • 不同的pattern有其各自的代理池

https://github.com/worldwonderer/proxy_tower 


话说各位有对逆向感兴趣的吗,不知道写出来有没有人看。

最新回复 (1)
  • 0 10
    说实话没搞懂怎么运作的,有个说明文档就好了
返回