分享基于asyncio及aio全家桶和scrapy流程及标准的轻量框架
本帖最后由 handin 于 2022-6-8 12:06 编辑https://bbs.nightteam.cn/forum.php?mod=image&aid=1158&size=300x300&key=66902ef489e14ca2&nocache=yes&type=fixnone
https://bbs.nightteam.cn/forum.php?mod=image&aid=1162&size=300x300&key=787dc9bb927658cc&nocache=yes&type=fixnone
项目简介(来源于github):
该框架基于开scrapy 和scrapy_redis, 标准流程开发通用方案, 比scrapy框架更为轻量使用场景自定义方案更为丰富
实现了动态变量注入和异步协程功能, 各个节点之间分离使用, 简化scrapy内置拓展功能, 保留了核心基本用法。
内置分布式爬取优先级队列redis,rabbitMq等。
运行情况截图:
https://bbs.nightteam.cn/forum.php?mod=image&aid=1160&size=300x300&key=906055e376ae63d0&nocache=yes&type=fixnone
https://bbs.nightteam.cn/forum.php?mod=image&aid=1156&size=300x300&key=16a6ac38a7542e17&nocache=yes&type=fixnone
https://bbs.nightteam.cn/forum.php?mod=image&aid=1165&size=300x300&key=1d9d7ef9e301677a&nocache=yes&type=fixnone
单脚本爬虫生成截图:
https://bbs.nightteam.cn/forum.php?mod=image&aid=1161&size=300x300&key=3e01c621c0fb97e4&nocache=yes&type=fixnone
https://bbs.nightteam.cn/forum.php?mod=image&aid=1157&size=300x300&key=2ff60076b42a1a9c&nocache=yes&type=fixnone
https://bbs.nightteam.cn/forum.php?mod=image&aid=1166&size=300x300&key=7729f20ff5403486&nocache=yes&type=fixnone
**** Hidden Message *****
6666666666666666 winya2f 发表于 2022-6-8 15:58
6666666666666666
测试测试 不错6666655555 66666666666 666 大神看看看看66666666 6666666666 111111111111111111111111111111 yydsaaaaaaaaaaaaa