10回答

1收藏

米哈游爬虫工程师内推--感兴趣的大佬可以扫帖子内的二维码进行投递简历哈

招聘求职 招聘求职 2450 人阅读 | 10 人回复 | 2021-08-04


岗位职责:

1、负责米哈游舆情系统、竞品分析等项目的数据爬取、解析、清洗、入库等日常工作;

2、维护好日常爬取脚本的正常运作与规则的有效性;

3、与大数据工程师对接,完成实时数据与离线数据的爬取与入库;

4、持续优化系统提高系统的稳定性。




岗位要求:

1、2年及以上爬虫、反爬虫研发经验;

2、精通python开发,熟悉使用scrapy、selenuim等常用开源爬虫框架;

3、熟悉HTTP协议、HTML、DOM,并有一定的JavaScript能力;

4、熟练使用Xpath、正则表达式或Beautiful Soup任一种解析框架;

5、熟练使用splash、浏览器内核等工具解析动态页面;

6、熟悉多线程、网络编程以及分布式爬虫架构开发场景;

7、熟悉使用Redis和任意一种常见的分布式消息队列;

8、熟练使用模拟登陆、UA池、动态代理、IP池等常规伪装手段;

9、熟悉常规反爬虫手段以及常见的解决方案,有一定的逆向工程能力;

10、有过爬取主流社区网站经验;

11、熟悉解决去重、分类、垃圾过滤等问题更佳;

12、熟练使用Mysql,熟悉Nosql数据库等,有大数据开发相关经验更佳;

13、本科或以上学历,计算机相关专业。









本帖子中包含更多资源

您需要 登录 才可以下载或查看,没有账号?立即注册

x
分享到:
回复

使用道具 举报

回答|共 10 个

salt

发表于 2021-8-9 17:34:12 | 显示全部楼层

有需要内推的大佬麻烦留言
回复

使用道具 举报

wiko

发表于 2021-8-10 12:25:33 | 显示全部楼层

大佬,方便留个vx不
回复

使用道具 举报

世界核平

发表于 2021-8-10 17:37:15 | 显示全部楼层

爬虫这个岗位在上海吗?
回复

使用道具 举报

salt

发表于 2021-8-12 17:16:20 | 显示全部楼层

嗯,是的,目前岗位在上海的
回复

使用道具 举报

salt

发表于 2021-8-12 17:18:07 | 显示全部楼层

有需要内推的加vx:zhume1014772743
回复

使用道具 举报

salt

发表于 2021-8-16 16:29:08 | 显示全部楼层

有需要的大佬,可以看看哈
回复

使用道具 举报

慕夜

发表于 2021-8-16 17:44:45 | 显示全部楼层

额 这不是boss直聘上的吗?  我看招了好几个月了 需要那么多人?
回复

使用道具 举报

salt

发表于 2021-8-20 14:30:40 | 显示全部楼层

目前还有岗位空缺
回复

使用道具 举报

salt

发表于 2021-8-30 14:24:31 | 显示全部楼层

岗位急缺,有意的可以加vx, 或者把简历发送到邮箱: [email protected]
回复

使用道具 举报