1赞

69回答

3收藏

分享基于asyncio及aio全家桶和scrapy流程及标准的轻量框架

 

信息分享 信息分享 11150 人阅读 | 69 人回复 | 2022-06-07

本帖最后由 handin 于 2022-6-8 12:06 编辑



项目简介(来源于github):
    该框架基于开scrapy 和scrapy_redis, 标准流程开发通用方案, 比scrapy框架更为轻量使用场景自定义方案更为丰富
实现了动态变量注入和异步协程功能, 各个节点之间分离使用, 简化scrapy内置拓展功能, 保留了核心基本用法。
内置分布式爬取优先级队列redis,  rabbitMq等。

运行情况截图:



单脚本爬虫生成截图:



游客,如果您要查看本帖隐藏内容请回复










本帖子中包含更多资源

您需要 登录 才可以下载或查看,没有账号?立即注册

x
分享到:
回复

使用道具 举报

回答|共 69 个

winya2f

发表于 2022-6-8 15:58:45 | 显示全部楼层

6666666666666666
回复

使用道具 举报

xianyuplus

发表于 2022-6-10 20:41:46 | 显示全部楼层


测试测试
回复

使用道具 举报

朝朝朝落

发表于 2022-6-20 18:06:57 | 显示全部楼层

不错6666655555
回复

使用道具 举报

小宝贝儿

发表于 2022-6-22 18:21:55 | 显示全部楼层

66666666666
回复

使用道具 举报

云与海的天空

发表于 2022-6-23 14:07:13 | 显示全部楼层

666                                
回复

使用道具 举报

qq846511277

发表于 2022-6-26 10:00:56 | 显示全部楼层

大神看看看看66666666
回复

使用道具 举报

franky

发表于 2022-6-27 16:50:22 | 显示全部楼层

6666666666
回复

使用道具 举报

conlin

发表于 2022-6-30 15:18:12 | 显示全部楼层

111111111111111111111111111111
回复

使用道具 举报

wzx654123

发表于 2022-7-1 08:55:43 | 显示全部楼层

yydsaaaaaaaaaaaaa
回复

使用道具 举报

58 积分
2 主题
热门推荐