Base上海爬虫工程师一枚

cici88887

岗位职责

1、参与爬虫项目的架构设计、研发、编程工作，改进和提升爬虫效率；

2、设计爬虫策略和防屏蔽规则，提升网页抓取的效率和质量；

3、负责后台爬虫数据的分布式存储设计以及代码实现；

4、负责网页采集任务的分析及采集方案设计；

5、负责分布式爬虫策略持续优化。

重点：大众点评、小红书、携程（零售行业或母婴行业）爬虫经历优先

岗位要求：

1、工作认真细致踏实，学习能力强，以解决技术难题为乐趣，有想法，敢于挑战

2、熟悉多线程、网络编程，精通网页抓取原理及技术的实现细节

3、熟悉基于规则的网页信息抽取，精通正则表达式；

4、从结构化的和非结构化的数据中获取信息，对网页数据抓取、信息提取、去重、清洗有一定经验

5、掌握Java/Python二种编程语言中的至少一种

6、熟练掌握Jsoup，Xpath，CSS Selector、Selinum 或者 Python Scrapy 框架，BeautifulSoup,urllib2,selenium,PhantomJS等常用包

7、熟练掌握Mysql等数据库使用

有意者请站内联系我，急聘！！！公司福利：期权奖励，年终奖励，薪资面议，只要能力够，薪资可谈！

cici88887

岗位职责

1、参与爬虫项目的架构设计、研发、编程工作，改进和提升爬虫效率；

2、设计爬虫策略和防屏蔽规则，提升网页抓取的效率和质量；

3、负责后台爬虫数据的分布式存储设计以及代码实现；

4、负责网页采集任务的分析及采集方案设计；

5、负责分布式爬虫策略持续优化。

重点：大众点评、小红书、携程（零售行业或母婴行业）爬虫经历优先

岗位要求：

1、工作认真细致踏实，学习能力强，以解决技术难题为乐趣，有想法，敢于挑战

2、熟悉多线程、网络编程，精通网页抓取原理及技术的实现细节

3、熟悉基于规则的网页信息抽取，精通正则表达式；

4、从结构化的和非结构化的数据中获取信息，对网页数据抓取、信息提取、去重、清洗有一定经验

5、掌握Java/Python二种编程语言中的至少一种

6、熟练掌握Jsoup，Xpath，CSS Selector、Selinum 或者 Python Scrapy 框架，BeautifulSoup,urllib2,selenium,PhantomJS等常用包

7、熟练掌握Mysql等数据库使用

[email protected]，急聘！！！公司福利：期权奖励，年终奖励，薪资面议，只要能力够，薪资可谈！