招聘爬虫技术负责人-base北京或深圳
岗位职责:
负责网络爬虫系统平台的架构设计与开发(如抓取调度,多样化抓取,页面解析和结构化抽取)、技术选型等;
负责APP 的数据抓取和爬取链路优化(包括 Android APP 反编译、脱壳、加密参数破解、抓取攻防等),提升抓取能力;
研究爬虫策略,提升网页抓取的效率和质量;
参与爬虫核心算法和策略优化,熟悉采集系统的调度策略;
实时监控爬虫的进度和警报反馈。
任职要求:
5年以上爬虫经验,具有大规模通用爬虫开发经验,熟悉目前主流的爬虫框架,有电商数据爬取经验者优先;
熟悉app逆向、反编译(xposed、frida、ida、jeb等) 或 有app群控经验(appium、uiautomator2等)。
了解各种加密算法,在破解验证码方面有丰富经验,能够独立解决js反爬和模拟登陆问题;
良好的团队管理经验,对解决挑战型问题充满激情。
备注信息:
1、全球最大的中文媒体资讯提供商,老牌科技公司,有香港学院和政府背书,采集行为是授权的;
2、爬取内容包括但不限于媒体数据、电商评论数据等。
如感兴趣可加微信:seven102692 详聊
页:
[1]