深圳某广告营销公司诚招中高级爬虫工程师-急招

spidermen

15k-25k

岗位职责:
1、负责设计、开发、维护、重构分布式爬虫系统;
2、参与数据层建设，专注于垂直领域数据爬取，进行多平台信息的抓取和分析;
3、设计爬虫反屏蔽规则,提升网页抓取的效率和质量;
4、负责大规模爬虫系统的核心技术研究和开发;
5、实现数据提取、清洗、结构化、入库、统计分析等需求。

任职资格:
1、本科学历，计算机相关专业，3年以上爬虫开发经验;
2、Pyhton语言基础扎实，有良好的编程功底和编码习惯;熟悉java优先;
3、熟悉HTTP、HTTPS等网络协议及数据抓包、分析;
4、掌握相关的数据存储工作，掌握mysql、redis、mongodb、es、hbase等相关技术,有数据库调优的经验;
5、必须熟悉app数据爬虫，熟悉pc端数据采集;
6、熟悉反爬机制,处理账号限制、复杂验证码、模拟登陆等疑难问题;
7、熟悉js逆向、app逆向优先;
8、具备大规模爬虫系统设计能力,熟悉评论采集等常见数据采集任务。




能力强可适当放宽资格和提升待遇!!!




详细请boss搜索 深圳市东信时代信息有限公司

或者邮件   [email protected]

联系 hr 杨小姐

诚邀各大佬共同组建爬虫数据团队