8回答

1收藏

萌新求助。服务器部署爬虫用什么来部署比较好

问答交流 问答交流 4899 人阅读 | 8 人回复 | 2019-11-25

**请问在服务器上部署爬虫的时候,用什么框架来部署比较好管理呢QAQ**
分享到:
回复

使用道具 举报

回答|共 8 个

非牛

发表于 2019-11-25 15:58:21 | 显示全部楼层

手动部署,人工管理的路过
回复

使用道具 举报

jin

发表于 2019-11-25 15:59:25 | 显示全部楼层

crawlab了解下
回复

使用道具 举报

loco

发表于 2019-11-25 16:02:08 | 显示全部楼层

我这是用的Docker,打包好Docker镜像后上传到位于阿里云的私有镜像仓库,然后K8S就会自动把镜像(代码)更新到各个节点上了。

结合CI工具后,你根本不需要人工干预,代码写好合并到主分支,然后CI就会自动打包、改版本号、上传部署。
回复

使用道具 举报

buging

发表于 2019-11-25 16:03:21 | 显示全部楼层

![](https://bbs.nightteam.cn/upload/images/201911/16_02_24_40659)
各有优劣  你可以搜一下
回复

使用道具 举报

Jokertion

发表于 2019-11-25 16:44:37 | 显示全部楼层

mark
回复

使用道具 举报

clark1203

发表于 2019-11-25 16:52:46 | 显示全部楼层

Docker scrapydweb supervisor
回复

使用道具 举报

lateautumn4lin

发表于 2019-11-27 11:00:47 | 显示全部楼层

同loco大佬类似,K8S结合CI工具+helm模板生成爬虫的实例,会指定爬虫实例的资源使用量、工作节点数等等
回复

使用道具 举报