招聘高级爬虫工程师 base 杭州
岗位职责:
1、负责开发网络/App爬虫系统,完成数据采集与爬取、解析处理、入库等数据日常工作;
2、负责爬虫核心算法和策略优化,熟悉采集系统的调度策略;
3、实时监控爬虫的进度和警报反馈,能独立解决实际开发过程碰到的各类问题;
4、研究网站、app的反爬策略,并制定反反爬措施;
岗位要求:
1、本科及以上学历,3年以上爬虫开发经验,有快速迭代、逐步优化的工程项目经验
2、熟练使用JAVA或者Pyhton,熟悉常用数据结构、算法,熟练使用常用库,熟练使用常用的爬虫框架,了解反爬套路及破解方法
3、熟悉web前端,对cookie管理、登录等流程有深入理解,熟悉js、css、html等,有调优经验者更佳
4、熟悉TCP/IP、HTTP、HTTPS等网络协议
5、熟悉常规反爬虫手段以及常见的解决方案,有一定的逆向工程能力。
6、对Mysql、Mongodb、Redis、Hbase、Kafka有一定的使用经验
7、有app逆向经验 ,有抓取过移动端电商广告优先考虑
vx:280779378
页:
[1]