分布式爬虫的架构有哪几种？

sfhfpc

我听群里的大佬说分布式可以分为对等分布式和主从分布式，不知道还有没有别的分法？

这几种分布式的架构应该怎么划分呢？也不说架构吧，结构是怎么样的？

希望有经验的大佬分享一下，最好画几个图，那就太感谢了！

Fizzyi · 发表于 2019-11-25 15:26:47

先mark,等大佬解答

幽灵 · 发表于 2019-11-25 15:40:53

坐等大佬回答

王 · 发表于 2019-11-25 15:49:08

啥也不是

Voccoo · 发表于 2019-11-25 15:53:30

直接再咨询那个大佬

rocks · 发表于 2019-11-25 15:54:27

其实绝大多数爬虫不需要分布式，相反，还要节流

非牛 · 发表于 2019-11-25 15:59:20

这个不好说，只能说市面上流行的可以统计，但是很多大牛都是自定义的框架

JetLei · 发表于 2019-11-25 16:26:49

坐等大佬回答

路过的憨憨 · 发表于 2019-11-25 16:44:12

我们现在全部celery手写

wjsw1781 · 发表于 2019-11-25 17:58:38

先把js逆向弄透彻吧好高骛远