18回答

0收藏

招聘全职爬虫架构师 坐标厦门软二

招聘求职 招聘求职 4500 人阅读 | 18 人回复 | 2020-07-01


有厦门的同学最近想要找工作的吗 , 我司在招聘一位爬虫架构师,目前爬取抖音(下一步规划快手)直播带货视频数据,目前每日请求次数十亿级别,数据量tb ,爬虫服务器百台以上 。

公司产品网站:https://www.chanmama.com/

V:winterSbl

以下是jd,有兴趣的同学欢迎随时来聊~




岗位职责:

1、负责公司爬虫平台的技术调研、需求开发、难点攻关和运维优化。

2、研究爬虫策略和防屏蔽规则,提升爬虫系统的稳定性、可扩展性,提高抓取的效率和质量。

3、参与制定反抓取策略。

任职要求:

1、全日制本科及以上学历,计算机相关专业,3年以上爬虫经验;

2、精通java或python编程语言,熟悉分布式多线程编程,熟悉网络协议及数据交换标准;

3、精通scrapy、nutch等常用爬虫框架及原理,精通app抓取技术,熟悉常规反爬虫策略和规避方法,能够独立承担爬虫运维工作;

4、分析问题逻辑清晰,有高度的责任心,有良好的团队协作意识和沟通能力,善于学习和钻研技术;

5、加分项:爬取抖音、快手数据日均超100w次,深度参与至少一个大规模分布式爬虫系统的架构设计



分享到:
回复

使用道具 举报

回答|共 18 个

厦门蝉大师蝉妈妈

发表于 2020-7-1 16:31:47 | 显示全部楼层

没有厦门的大佬或者想来厦门工作的大佬吗  哭了   - -
回复

使用道具 举报

yyxyuxiang

发表于 2020-7-1 17:18:21 | 显示全部楼层

这要求,工资怕是不低哦
回复

使用道具 举报

厦门蝉大师蝉妈妈

发表于 2020-7-1 18:24:42 | 显示全部楼层

在行业内还是有一定竞争力的噢   大佬有兴趣聊聊吗
回复

使用道具 举报

厦门蝉大师蝉妈妈

发表于 2020-7-13 09:53:06 | 显示全部楼层

持续蹲一位想看厦门机会的大佬 ....
回复

使用道具 举报

Masol7

发表于 2020-7-13 14:04:21 | 显示全部楼层

项目有没有详细点的东西
回复

使用道具 举报

厦门蝉大师蝉妈妈

发表于 2020-7-22 09:52:22 | 显示全部楼层

给自己再顶一顶 ,  哭了 -   -
回复

使用道具 举报

厦门蝉大师蝉妈妈

发表于 2020-8-10 19:00:55 | 显示全部楼层

还在招!!!有人吗
回复

使用道具 举报

wang1234

发表于 2020-8-10 21:55:41 | 显示全部楼层

请问你们这个网站的数据全部是用爬虫获取的吗
回复

使用道具 举报

wang1234

发表于 2020-8-10 21:56:15 | 显示全部楼层

感觉很厉害 以为有某音内部人员提供数据哈哈哈哈哈
回复

使用道具 举报