338回答

5收藏

招聘高级爬虫工程师!Base北京!

招聘求职 招聘求职 103153 人阅读 | 338 人回复 | 2019-12-12


岗位职责

1、负责多平台信息爬取和页面内容的提取分析,负责破解各类反爬机制;

2、负责APP的数据抓取和爬取链路优化(包括APP反编译、逆向分析、脱壳、加密参数破解、抓取攻防等),提升抓取能力;

3、负责HTTP、AJAX等各类网络请求分析,探索和研究高效的数据抓取解决方案;

4、研究爬虫策略和防屏蔽规则,解决封账号、封IP、验证码、页面跳转等难点,提升网页抓取的效率和质量;

5、不断完善和重构现有爬虫系统,通过对抓取、解析、调度、存储等模块的拆分与优化,构建和完善统一的抓取服务平台。

任职要求

1、全日制本科及以上学历,计算机相关专业,3年及以上爬虫经验;

2、精通至少一门开发语言,如Python;

3、有过大型平台爬取经验,例如淘宝、大众点评、美团、携程等;

4、精通爬虫和反爬技术,精通HttpClient/jsoup/XPath/CSS/正则表达式/验证码加密处理/代理池等网页信息抽取技术,精通HTTP底层协议;

5、精通动态网页抓取、浏览器模拟抓取、APP抓取等技术;

6、熟悉网页抓取原理及技术,熟悉基于Cookie的网站登录原理;

7、熟悉行为验证码识别、模拟登陆、数据清洗、去重、入库等技术,具有海量数据处理和分布式计算开发经验者优先;

8、熟悉信息抓取和整合技术,熟悉从结构化和非结构化数据中获取信息,掌握正则表达式。




公司官网:bailian.ai 如有兴趣可以投递官网所留企业邮箱,简历砸过来!
分享到:
回复

使用道具 举报

回答|共 338 个

l4537459

发表于 2019-12-12 21:25:27 | 显示全部楼层

就是想看下特定内容
回复

使用道具 举报

花儿谢了

发表于 2019-12-13 07:02:44 | 显示全部楼层

萨瓦迪卡
回复

使用道具 举报

franky

发表于 2019-12-13 09:53:02 | 显示全部楼层

就是想看下特定内容
回复

使用道具 举报

杰神荡漾

发表于 2019-12-13 11:02:30 | 显示全部楼层

就是想看下内容
回复

使用道具 举报

administrator

发表于 2019-12-13 11:06:55 | 显示全部楼层

就是看下内容
回复

使用道具 举报

thunder

发表于 2019-12-13 11:14:42 | 显示全部楼层

可惜 不是北京得
回复

使用道具 举报

Robots

发表于 2019-12-13 14:26:24 | 显示全部楼层

就是想看下特定内容
回复

使用道具 举报

jiaozhi7z

发表于 2019-12-13 14:37:20 | 显示全部楼层

就是想看下特定内容
回复

使用道具 举报

jiaozhi7z

发表于 2019-12-13 14:37:33 | 显示全部楼层

就是想看下特定内容
回复

使用道具 举报