1回答

0收藏

北京百炼智能科技有限公司---急求爬虫/数据采集工程师---薪资待遇优越,上升空间大,技术范儿 急急急

招聘求职 招聘求职 1047 人阅读 | 1 人回复 | 2021-04-14


公司网址:http://www.bailian-ai.com/

办公地址:北京市朝阳区北苑路 58 号楼航空科技大厦B座9层

薪酬结构:Open谈,年15-18薪

工作时间:弹性8小时,不打卡

联系人:陈  18401337190

微信号:z545592017




【岗位职责】

1、负责多平台信息的数据采集、抽取、去重、分类、垃圾过滤、质量识别等工作;

2、研究数据采集策略和防屏蔽规则,解决封账号、封IP、验证码、滑块等难点以及落地实施,对爬取实时性、成功率负责;

3、关注数据质量,进行监控,保证数据的完整性和准确性,对已有网站进行维护,并及时修复;

4、参与数据采集系统的架构设计和开发,对平台进行持续改进和优化。

【任职要求】

1、全日制本科及以上学历,计算机相关专业,五年以上大规模数据采集经验,具有团队管理经验者优先;

2、熟练掌握Python语言,熟练掌握JS语言、有APP数据采集经验者优先;

3、精通数据采集技术,熟悉HttpClient/jsoup/XPath/CSS/正则表达式/验证码加密处理/代理池等网页信息抽取技术,熟悉HTTP底层协议;

4、精通各种反爬技术,并能够通过多种应对策略(如代理池、模拟登录、验证码与滑块的处理、浏览器渲染等)来保证数据的持续交付;

5、熟悉网页数据采集原理及技术,熟悉基于Cookie的网站登录原理;

6、熟悉数据清洗、去重、入库等技术,具有数据挖掘、机器学习背景者优先;

7、良好的编码能力,工作认真细致踏实,逻辑思维缜密,善于分析,以解决技术难题为乐趣,具备良好的沟通交流能力。



分享到:
回复

使用道具 举报

招聘求职 招聘求职 1047 人阅读 | 1 人回复 | 2021-04-14

回答|共 1 个


http://www.bailian-ai.com/-百炼智能

我们是一家专注于b2b营销自动化的人工智能获客的技术公司。

我们的3大核心技术分别是自然语言处理、图像识别和知识图谱算法。

目前我们已经有4款SAAS产品,分别从决策、获客、到渠道运营的整个营销闭环,全面解决企业的营销效率问题。

今年1月份,由字节跳动领投,融资金额一个亿。




爬虫(中高级-岗位JD仅作为参考-重点js逆向)

福利:双休,月:20-40Kopen谈,年:15-18薪,七险一金,五险全额缴纳,公积金12%比例

地点:北京5号线:地铁北苑路北(航空科技大厦)

岗位职责:

1. 负责多平台信息的数据采集、抽取、去重、分类、垃圾过滤、质量识别等工作;

2. 研究数据采集策略和防屏蔽规则,解决封账号、封IP、验证码、滑块等难点以及落地实施,对爬取实时性、成功率负责;

3. 关注数据质量,进行监控,保证数据的完整性和准确性,对已有网站进行维护,并及时修复;

4. 参与数据采集系统的架构设计和开发,对平台进行持续改进和优化。

任职要求:

1. 全日制本科及以上学历,计算机相关专业,2年以上大规模数据采集经验,具有团队管理经验者优先;

2. 熟练掌握Python语言,熟练掌握JS语言、有APP数据采集经验者优先;

3. 精通数据采集技术,熟悉HttpClient/jsoup/XPath/CSS/正则表达式/验证码加密处理/代理池等网页信息抽取技术,熟悉HTTP底层协议;

4. 精通各种反爬技术,并能够通过多种应对策略(如代理池、模拟登录、验证码与滑块的处理、浏览器渲染等)来保证数据的持续交付;

5. 熟悉网页数据采集原理及技术,熟悉基于Cookie的网站登录原理;

6. 熟悉数据清洗、去重、入库等技术,具有数据挖掘、机器学习背景者优先;

7. 良好的编码能力,工作认真细致踏实,逻辑思维缜密,善于分析,以解决技术难题为乐趣,具备良好的沟通交流能力。

联系人:陈  18401337190      微信号:z545592017



分享到:
回复

使用道具 举报