Base上海爬虫工程师一枚
岗位职责
1、参与爬虫项目的架构设计、研发、编程工作,改进和提升爬虫效率;
2、设计爬虫策略和防屏蔽规则,提升网页抓取的效率和质量;
3、负责后台爬虫数据的分布式存储设计以及代码实现;
4、负责网页采集任务的分析及采集方案设计;
5、负责分布式爬虫策略持续优化。
重点:大众点评、小红书、携程(零售行业或母婴行业)爬虫经历优先
岗位要求:
1、工作认真细致踏实,学习能力强,以解决技术难题为乐趣,有想法,敢于挑战
2、熟悉多线程、网络编程,精通网页抓取原理及技术的实现细节
3、熟悉基于规则的网页信息抽取,精通正则表达式;
4、从结构化的和非结构化的数据中获取信息,对网页数据抓取、信息提取、去重、清洗有一定经验
5、掌握Java/Python二种编程语言中的至少一种
6、熟练掌握Jsoup,Xpath,CSS Selector、Selinum 或者 Python Scrapy 框架,BeautifulSoup,urllib2,selenium,PhantomJS等常用包
7、熟练掌握Mysql等数据库使用
有意者请站内联系我,急聘!!!公司福利:期权奖励,年终奖励,薪资面议,只要能力够,薪资可谈!
Base上海爬虫工程师一枚
岗位职责
1、参与爬虫项目的架构设计、研发、编程工作,改进和提升爬虫效率;
2、设计爬虫策略和防屏蔽规则,提升网页抓取的效率和质量;
3、负责后台爬虫数据的分布式存储设计以及代码实现;
4、负责网页采集任务的分析及采集方案设计;
5、负责分布式爬虫策略持续优化。
重点:大众点评、小红书、携程(零售行业或母婴行业)爬虫经历优先
岗位要求:
1、工作认真细致踏实,学习能力强,以解决技术难题为乐趣,有想法,敢于挑战
2、熟悉多线程、网络编程,精通网页抓取原理及技术的实现细节
3、熟悉基于规则的网页信息抽取,精通正则表达式;
4、从结构化的和非结构化的数据中获取信息,对网页数据抓取、信息提取、去重、清洗有一定经验
5、掌握Java/Python二种编程语言中的至少一种
6、熟练掌握Jsoup,Xpath,CSS Selector、Selinum 或者 Python Scrapy 框架,BeautifulSoup,urllib2,selenium,PhantomJS等常用包
7、熟练掌握Mysql等数据库使用
[email protected],急聘!!!公司福利:期权奖励,年终奖励,薪资面议,只要能力够,薪资可谈!
页:
[1]