【proxy_tower】来分享一下自己造的代理模块 开源软件 原创

worldwonderer 10月前 2259

proxy_tower

代理负载均衡模块,更高效率的使用代理池

可解决:

  1. 免费代理可用率低
  2. 付费代理过期时间不稳定,难以充分利用
  3. 一直使用无效代理

注:proxy_tower本身不抓取、嗅探代理

特性

  • 多倍转发
    • 支持将收到的代理请求转发给多个proxy
    • 返回最快并且有效的response

多倍转发可有效解决免费/不稳定代理使用率低的问题

  • response校验
    • pattern是目标站点的某个复用页面,通常有同样的URL前缀,类似的HTML结构,如豆瓣电影movie.douban.com/subject/
    • 通过前缀树存储pattern和对应的xpath或keyword校验规则,高效、简便的解决了多站点校验的问题
    • 不同的pattern有其各自的代理池

https://github.com/worldwonderer/proxy_tower 


话说各位有对逆向感兴趣的吗,不知道写出来有没有人看。

最新回复 (9)
  • qianyin 3月前
    0 10
    说实话没搞懂怎么运作的,有个说明文档就好了
  • 0 9
    从github看过来了,原来这里也有,大佬你这工具还是没搞清咋运作的,不清楚咋用啊?
  • pidan 6月前
    0 8
    请问大佬对于下载二进制文件时,如何进行校验呢?
  • l4537459 10月前
    0 7
    非常感兴趣,赶紧写啊, 我一直想写个,没思路,这个应该属于隧道代理
  • 0 6
    gkdgkd
  • loco 10月前
    0 5
    话说各位有对逆向感兴趣的吗,不知道写出来有没有人看。
    -------------------------------------
    gkdgkd,注意别直呼其名就行,确保自身安全
  • 0 4
    花儿谢了 话说各位有对逆向感兴趣的吗,不知道写出来有没有人看。 ------------------------------------- 感兴趣!
    gkdgkd
  • YRyanQ 10月前
    0 3
    那必须感兴趣啊!
  • 0 2
    话说各位有对逆向感兴趣的吗,不知道写出来有没有人看。
    -------------------------------------
    感兴趣!
返回