讨论一下通用分布式爬虫框架的设计及开发经验

spidermen

分享下最近总是被问到的一个问题：是否有通用分布式爬虫框架的设计及开发经验?

在 scrapy 的框架思想下,结合 pyspide r的 ui 界面,自定义配置数据库及账号,点选 html 标签后自动抓取相对应字段数据.配置及勾选后生成 scrapy-redis 代码.

当然,框架需要能承载大量项目的部署及监控警报...

有没有大佬出来分享下...

花儿谢了

没有xxxxx开发经验，打扰了，我走了

spidermen

大佬别急,留下思路和想法再走不迟.

非牛

大兄弟，你这是让搞爬虫的同志们下岗啊

花儿谢了

建议了解一下我们团队的aiocxa，反正我个人是不喜欢用scrapy这类东西，还是asyncio一把梭舒服，当然只是个人拙见，还是看场景。。。

陈祥安

aiohttp+motor就可以了