招聘高级爬虫工程师 base 杭州

xiaowoniu

岗位职责：

1、负责开发网络/App爬虫系统，完成数据采集与爬取、解析处理、入库等数据日常工作；

2、负责爬虫核心算法和策略优化，熟悉采集系统的调度策略；

3、实时监控爬虫的进度和警报反馈，能独立解决实际开发过程碰到的各类问题；

4、研究网站、app的反爬策略，并制定反反爬措施；

岗位要求:

1、本科及以上学历，3年以上爬虫开发经验，有快速迭代、逐步优化的工程项目经验

2、熟练使用JAVA或者Pyhton，熟悉常用数据结构、算法，熟练使用常用库，熟练使用常用的爬虫框架，了解反爬套路及破解方法

3、熟悉web前端，对cookie管理、登录等流程有深入理解，熟悉js、css、html等，有调优经验者更佳

4、熟悉TCP/IP、HTTP、HTTPS等网络协议

5、熟悉常规反爬虫手段以及常见的解决方案，有一定的逆向工程能力。

6、对Mysql、Mongodb、Redis、Hbase、Kafka有一定的使用经验

7、有app逆向经验 ，有抓取过移动端电商广告优先考虑

vx:280779378