厦门蝉大师蝉妈妈 发表于 2020-7-1 14:42:05

招聘全职爬虫架构师 坐标厦门软二


有厦门的同学最近想要找工作的吗 ， 我司在招聘一位爬虫架构师，目前爬取抖音（下一步规划快手）直播带货视频数据，目前每日请求次数十亿级别，数据量tb ，爬虫服务器百台以上 。

公司产品网站：https://www.chanmama.com/

V：winterSbl

以下是jd，有兴趣的同学欢迎随时来聊~




岗位职责：

1、负责公司爬虫平台的技术调研、需求开发、难点攻关和运维优化。

2、研究爬虫策略和防屏蔽规则，提升爬虫系统的稳定性、可扩展性，提高抓取的效率和质量。

3、参与制定反抓取策略。

任职要求：

1、全日制本科及以上学历，计算机相关专业，3年以上爬虫经验；

2、精通java或python编程语言，熟悉分布式多线程编程，熟悉网络协议及数据交换标准；

3、精通scrapy、nutch等常用爬虫框架及原理，精通app抓取技术，熟悉常规反爬虫策略和规避方法，能够独立承担爬虫运维工作；

4、分析问题逻辑清晰，有高度的责任心，有良好的团队协作意识和沟通能力，善于学习和钻研技术；

5、加分项：爬取抖音、快手数据日均超100w次，深度参与至少一个大规模分布式爬虫系统的架构设计



厦门蝉大师蝉妈妈 发表于 2020-7-1 16:31:47

没有厦门的大佬或者想来厦门工作的大佬吗哭了   - -

yyxyuxiang 发表于 2020-7-1 17:18:21

这要求，工资怕是不低哦

厦门蝉大师蝉妈妈 发表于 2020-7-1 18:24:42

在行业内还是有一定竞争力的噢   大佬有兴趣聊聊吗

厦门蝉大师蝉妈妈 发表于 2020-7-13 09:53:06

持续蹲一位想看厦门机会的大佬 ....

Masol7 发表于 2020-7-13 14:04:21

项目有没有详细点的东西

厦门蝉大师蝉妈妈 发表于 2020-7-22 09:52:22

给自己再顶一顶 ，哭了 -   -

厦门蝉大师蝉妈妈 发表于 2020-8-10 19:00:55

还在招！！！有人吗

wang1234 发表于 2020-8-10 21:55:41

请问你们这个网站的数据全部是用爬虫获取的吗

wang1234 发表于 2020-8-10 21:56:15

感觉很厉害 以为有某音内部人员提供数据哈哈哈哈哈
页: [1] 2
查看完整版本: 招聘全职爬虫架构师 坐标厦门软二