1回答

0收藏

爬虫管理平台Crawlab v0.4.2发布(文件管理)

信息分享 信息分享 2768 人阅读 | 1 人回复 | 2019-12-30

前言
Crawlab 是由 Crawlab 开发组 开发和维护的分布式爬虫管理平台。由于是基于 Golang,具有很强的灵活性和高性能,可以适用于大量的爬虫管理和任务监控等爬虫部署执行场景。Crawlab 非常灵活,可以自由执行各种语言和框架的爬虫,例如 Python、Node.js、Golang、Java、Scrapy、Selenium、Puppeteer 等等。Crawlab 目前支持的功能包括:节点注册发现、爬虫上传、任务调度、任务监控、日志管理、数据分析、定时任务等。从今年 3 月份上线以来,已经收获不少爬虫工程师以及开发者的好评,很多用户已经在企业中部署使用 Crawlab。现在 Crawlab 在 Github 上已经有近 4k stars,Dockerhub 上有近 8k pulls。另外,Crawlab 还收到了不少实际用户反馈的建议,在 Github 上已经解决了 147 个 issues,open 的还有 48 个。




在一次用户调研中,用户反馈认为 Crawlab 提供主要价值是让爬虫变得更简单,所谓的 "Easy crawling"。因此,为了简化爬虫部署流程,我们在最近的一次更新 v0.4.2 版本中,我们上线了 文件管理 功能,让用户可以自由编辑、保存、添加、重命名爬虫文件,这样爬虫工程师就不需要因为改了一行代码而重新上传 zip 文件了。



更新内容功能/优化
  • 更高级的文件管理. 允许用户添加、删除、编辑、重命名爬虫文件。 #286
  • 优化爬虫创建流程. 允许用户创建空的自定义爬虫,然后上传 zip 文件。
  • 优化任务管理. 允许用户根据条件过滤任务列表。 #341
  • 免责声明. 加入免责声明页面。
  • 可以配置是否允许注册. #346
  • 可以添加用户.
  • 通过 API 获取版本号. #371
Bug 修复
  • 重复节点. #391
  • "mongodb no reachable" 错误. #373
文件管理
文件编辑器是基于 CodeMirror,因此界面非常精美,而操作也非常容易,支持代码高亮功能,文件支持包括
  1. .py
复制代码
  1. .js
复制代码
  1. .go
复制代码
  1. .sh
复制代码
  1. .php
复制代码
  1. .md
复制代码
  1. Spiderfile
复制代码
(可配置爬虫的 yaml 抓取规则配置文件,参考《爬虫管理平台Crawlab v0.4.1发布(可配置爬虫)》)。

以下是文件编辑器截图。







同样,Crawlab 也有目录列表展示功能,能够展示指定目录下的文件和文件夹,并带有导航功能。







文件管理功能旨在帮助爬虫工程师在线预览、修改爬虫文件,适合做一些一次性的、非长期性的文件修改。注意:Crawlab 暂时还不支持版本管理功能,因此每一次修改并不会被记录,要用版本管理系统(VCS)将爬虫文件管理起来最好的方式还是利用 Git/SVN 等工具,然后自己写脚本或手动打包上传爬虫文件。后期我们将优化部署流程,将整合 GitLab、Github 等代码仓库,这样会增强爬虫代码的可追溯性。
产品规划
Crawlab 发展到现在已经有不少的功能了,而且随着用户的反馈,我们还将不断的加入新的实用功能。

以下是 Crawlab 的初步产品规划。







这些功能是根据用户的反馈(Github Issue、群反馈等)汇总而成的。不过本着敏捷的原则,这些规划也会根据进度和进一步反馈而做调整,因此并不绝对,发布日期也不会固定。如果大家能在 Github 主页底部给开发组成员打赏买几杯咖啡,开发组可能会更加有信心将 Crawlab 新功能更快的发布出来给大家使用。
社区
如果您觉得 Crawlab 对您的日常开发或公司有帮助,请加作者微信 tikazyq1 并注明 "Crawlab",作者会将你拉入群。欢迎在 Github 上进行 star,以及,如果遇到任何问题,请随时在 Github 上提 issue。另外,欢迎您对 Crawlab 做开发贡献。






参考


分享到:
回复

使用道具 举报

回答|共 1 个

建筑工程师阿绿

发表于 2019-12-30 16:51:36 | 显示全部楼层

棒棒哒
回复

使用道具 举报