9回答

0收藏

【proxy_tower】来分享一下自己造的代理模块

信息分享 信息分享 5974 人阅读 | 9 人回复 | 2019-12-16

proxy_tower
代理负载均衡模块,更高效率的使用代理池

可解决:
  • 免费代理可用率低
  • 付费代理过期时间不稳定,难以充分利用
  • 一直使用无效代理

注:proxy_tower本身不抓取、嗅探代理
特性
  • 多倍转发
    • 支持将收到的代理请求转发给多个proxy
    • 返回最快并且有效的response

多倍转发可有效解决免费/不稳定代理使用率低的问题
  • response校验
    • pattern是目标站点的某个复用页面,通常有同样的URL前缀,类似的HTML结构,如豆瓣电影
      1. movie.douban.com/subject/
      复制代码
    • 通过前缀树存储pattern和对应的xpath或keyword校验规则,高效、简便的解决了多站点校验的问题
    • 不同的pattern有其各自的代理池

https://github.com/worldwonderer/proxy_tower




话说各位有对逆向感兴趣的吗,不知道写出来有没有人看。

分享到:
回复

使用道具 举报

回答|共 9 个

花儿谢了

发表于 2019-12-16 11:20:08 | 显示全部楼层

话说各位有对逆向感兴趣的吗,不知道写出来有没有人看。
-------------------------------------
感兴趣!
回复

使用道具 举报

YRyanQ

发表于 2019-12-16 11:28:11 | 显示全部楼层

那必须感兴趣啊!
回复

使用道具 举报

路过的憨憨

发表于 2019-12-16 15:13:08 | 显示全部楼层

gkdgkd
回复

使用道具 举报

loco

发表于 2019-12-16 15:24:23 | 显示全部楼层

话说各位有对逆向感兴趣的吗,不知道写出来有没有人看。
-------------------------------------
gkdgkd,注意别直呼其名就行,确保自身安全
回复

使用道具 举报

花儿谢了

发表于 2019-12-16 15:26:09 | 显示全部楼层

gkdgkd
回复

使用道具 举报

l4537459

发表于 2019-12-19 16:28:32 | 显示全部楼层

非常感兴趣,赶紧写啊, 我一直想写个,没思路,这个应该属于隧道代理
回复

使用道具 举报

pidan

发表于 2020-4-9 00:24:57 | 显示全部楼层

请问大佬对于下载二进制文件时,如何进行校验呢?
回复

使用道具 举报

guangfapiaowu

发表于 2020-6-16 15:04:04 | 显示全部楼层

从github看过来了,原来这里也有,大佬你这工具还是没搞清咋运作的,不清楚咋用啊?
回复

使用道具 举报

qianyin

发表于 2020-7-23 11:19:26 | 显示全部楼层

说实话没搞懂怎么运作的,有个说明文档就好了
回复

使用道具 举报