分享基于asyncio及aio全家桶和scrapy流程及标准的轻量框架

handin

本帖最后由 handin 于 2022-6-8 12:06 编辑

项目简介(来源于github):
该框架基于开scrapy 和scrapy_redis, 标准流程开发通用方案, 比scrapy框架更为轻量使用场景自定义方案更为丰富
实现了动态变量注入和异步协程功能, 各个节点之间分离使用, 简化scrapy内置拓展功能, 保留了核心基本用法。
内置分布式爬取优先级队列redis, rabbitMq等。

运行情况截图:

单脚本爬虫生成截图:

游客，如果您要查看本帖隐藏内容请回复

winya2f · 发表于 2022-6-8 15:58:45

6666666666666666

xianyuplus · 发表于 2022-6-10 20:41:46

winya2f 发表于 2022-6-8 15:58
6666666666666666

测试测试

朝朝朝落 · 发表于 2022-6-20 18:06:57

不错6666655555

小宝贝儿 · 发表于 2022-6-22 18:21:55

66666666666

云与海的天空 · 发表于 2022-6-23 14:07:13

666

qq846511277 · 发表于 2022-6-26 10:00:56

大神看看看看66666666

franky · 发表于 2022-6-27 16:50:22

6666666666

conlin · 发表于 2022-6-30 15:18:12

111111111111111111111111111111

wzx654123 · 发表于 2022-7-1 08:55:43

yydsaaaaaaaaaaaaa

分享基于asyncio及aio全家桶和scrapy流程及标准的轻量框架

本帖子中包含更多资源

handin LV2