handin 发表于 2022-6-7 17:24:47

分享基于asyncio及aio全家桶和scrapy流程及标准的轻量框架

本帖最后由 handin 于 2022-6-8 12:06 编辑

https://bbs.nightteam.cn/forum.php?mod=image&aid=1158&size=300x300&key=66902ef489e14ca2&nocache=yes&type=fixnone
https://bbs.nightteam.cn/forum.php?mod=image&aid=1162&size=300x300&key=787dc9bb927658cc&nocache=yes&type=fixnone
项目简介(来源于github):
    该框架基于开scrapy 和scrapy_redis, 标准流程开发通用方案, 比scrapy框架更为轻量使用场景自定义方案更为丰富
实现了动态变量注入和异步协程功能, 各个节点之间分离使用, 简化scrapy内置拓展功能, 保留了核心基本用法。
内置分布式爬取优先级队列redis,rabbitMq等。

运行情况截图:
https://bbs.nightteam.cn/forum.php?mod=image&aid=1160&size=300x300&key=906055e376ae63d0&nocache=yes&type=fixnone
https://bbs.nightteam.cn/forum.php?mod=image&aid=1156&size=300x300&key=16a6ac38a7542e17&nocache=yes&type=fixnone
https://bbs.nightteam.cn/forum.php?mod=image&aid=1165&size=300x300&key=1d9d7ef9e301677a&nocache=yes&type=fixnone
单脚本爬虫生成截图:
https://bbs.nightteam.cn/forum.php?mod=image&aid=1161&size=300x300&key=3e01c621c0fb97e4&nocache=yes&type=fixnone
https://bbs.nightteam.cn/forum.php?mod=image&aid=1157&size=300x300&key=2ff60076b42a1a9c&nocache=yes&type=fixnone
https://bbs.nightteam.cn/forum.php?mod=image&aid=1166&size=300x300&key=7729f20ff5403486&nocache=yes&type=fixnone
**** Hidden Message *****









winya2f 发表于 2022-6-8 15:58:45

6666666666666666

xianyuplus 发表于 2022-6-10 20:41:46

winya2f 发表于 2022-6-8 15:58
6666666666666666

测试测试

朝朝朝落 发表于 2022-6-20 18:06:57

不错6666655555

小宝贝儿 发表于 2022-6-22 18:21:55

66666666666

云与海的天空 发表于 2022-6-23 14:07:13

666                              

qq846511277 发表于 2022-6-26 10:00:56

大神看看看看66666666

franky 发表于 2022-6-27 16:50:22

6666666666

conlin 发表于 2022-6-30 15:18:12

111111111111111111111111111111

wzx654123 发表于 2022-7-1 08:55:43

yydsaaaaaaaaaaaaa
页: [1] 2 3 4 5 6 7
查看完整版本: 分享基于asyncio及aio全家桶和scrapy流程及标准的轻量框架