分布式爬虫的架构有哪几种？

crab_left

直接就scrapy-redis完事了，速度足够了，比你自己千方百计写出来的快多了，简单，扩展维护方便。你要再快，把别人搞崩了吃不了兜着走。

sfhfpc


大家是不是误解了？

问到分布式并不是说要追求快，而是想要通过不同的结构搭配来满足不同的需求。

快只是分布式爬虫附带的一个属性，其实也可以把速度放慢。

就像数据结构，有时候并不是为了降低空间复杂度，而是为了能够让数据存取的时间复杂度可控。

来自山村的放牛娃

机器足够大 性能足够高  就只需要这一台机器就行