惊不惊喜！树莓派自研分布式爬虫系统系统——已用于公司项目

teacntr · 发表于 2019-11-26 22:54:53

这个也太强了吧，我也想弄个这样的，就是太复杂了

xianyuplus · 发表于 2019-11-26 23:55:07

又想骗我买树莓派

星过无痕 · 发表于 2019-11-27 00:10:58

这里厉害啊,,架构有点复杂,想起来我还有个上灰的树莓派了

山那边的瘦子 · 发表于 2019-11-27 09:19:58

不得不说感觉自己自己根本算不上爬虫

鸭梨山大呀 · 发表于 2019-11-27 10:05:52

你怎么穿品如的衣服啊

zengyd · 发表于 2019-11-27 10:07:33

不得不说感觉自己自己根本算不上爬虫
甚至0.1个都不算。。。我先去厕所哭会

挖掘机小王子 · 发表于 2019-11-27 10:13:30

感觉也是大多数精力花在管理和展示上了，感觉对待反爬不严重的网站还好，如果网站经常更新，感觉有点麻烦，感谢分享

l4537459 · 发表于 2019-11-27 10:29:29

果然是大神，就是为拉方便管理，因为几个树莓派根本不在一个地方，全部分开放的，甚至我家都放拉一个，所有操作需要web页面管理，所有树莓派里面的节点必须做到所有操作对接到web平台，至于反爬经常更新的问题，这是大部分爬虫都经历的问题，，所有定制脚本异常告警到web平台，一旦反爬机制更新，就在本地修改脚本，在本地测试后，上传到web平台，树莓派内的节点全部自动更新脚本。所以这个本质上是一个脚本管理平台。

jayzau · 发表于 2019-11-27 11:15:14

家里吃灰的树莓派看到你这篇文章估计都要跳起来捶我了

七仔 · 发表于 2019-11-27 13:02:32

老哥，为何你这么秀

惊不惊喜！树莓派自研分布式爬虫系统系统——已用于公司项目

l4537459 LV