招聘高级爬虫工程师!Base北京!

bailianhr 2019-12-12 48243

岗位职责

1、负责多平台信息爬取和页面内容的提取分析,负责破解各类反爬机制;

2、负责APP的数据抓取和爬取链路优化(包括APP反编译、逆向分析、脱壳、加密参数破解、抓取攻防等),提升抓取能力;

3、负责HTTP、AJAX等各类网络请求分析,探索和研究高效的数据抓取解决方案;

4、研究爬虫策略和防屏蔽规则,解决封账号、封IP、验证码、页面跳转等难点,提升网页抓取的效率和质量;

5、不断完善和重构现有爬虫系统,通过对抓取、解析、调度、存储等模块的拆分与优化,构建和完善统一的抓取服务平台。

任职要求

1、全日制本科及以上学历,计算机相关专业,3年及以上爬虫经验;

2、精通至少一门开发语言,如Python;

3、有过大型平台爬取经验,例如淘宝、大众点评、美团、携程等;

4、精通爬虫和反爬技术,精通HttpClient/jsoup/XPath/CSS/正则表达式/验证码加密处理/代理池等网页信息抽取技术,精通HTTP底层协议;

5、精通动态网页抓取、浏览器模拟抓取、APP抓取等技术;

6、熟悉网页抓取原理及技术,熟悉基于Cookie的网站登录原理;

7、熟悉行为验证码识别、模拟登陆、数据清洗、去重、入库等技术,具有海量数据处理和分布式计算开发经验者优先;

8、熟悉信息抓取和整合技术,熟悉从结构化和非结构化数据中获取信息,掌握正则表达式。


最新回复 (327)
  • lookcos 1天前
    0 328
    你这样是招不到人的。。。
  • dawnzhu 1天前
    0 327
    11
  • k 4天前
    0 326
    就是想看下特定内容
    -------------------------------------
    作者: bailianhr
    来源: 夜幕爬虫安全论坛
    原文链接: http://bbs.nightteam.cn/thread-158.htm
    版权声明: 若无额外声明,本帖为作者原创帖,转载请附上帖子链接!
  • you 10天前
    0 325
    00
  • xuyan1001 12天前
    0 324
    kankan
  • ruvker 13天前
    0 323
    1
  • 0 322
    6666
  • xj_0101 1月前
    0 321
    1
  • superme 1月前
    0 320
    ewqeq
  • lg003x 1月前
    0 319
    666
  • 0 318
    就是想看下特定内容
    -------------------------------------
    作者: bailianhr
    来源: 夜幕爬虫安全论坛
    原文链接: http://bbs.nightteam.cn/thread-158.htm
    版权声明: 若无额外声明,本帖为作者原创帖,转载请附上帖子链接!
  • 0 317
    阿斯达三大
  • 0 316
    1
  • lrabbit 1月前
    0 315
    1
  • 0 314
    1
  • six785 1月前
    0 313
    66666666
  • lei 1月前
    0 312
    66
  • yeyuzhao 2月前
    0 311
    就是想看下特定内容 ------------------------------------- 作者: bailianhr 来源: 夜幕爬虫安全论坛 原文链接: https://bbs.nightteam.cn/thread-158.htm 版权声明: 若无额外声明,本帖为作者原创帖,转载请附上帖子链接!
    -------------------------------------
    作者: bailianhr
    来源: 夜幕爬虫安全论坛
    原文链接: http://bbs.nightteam.cn/thread-158.htm
    版权声明: 若无额外声明,本帖为作者原创帖,转载请附上帖子链接!
  • zk2020 2月前
    0 310
    1
  • haiyang 2月前
    0 309
    666
  • 0 308
    6566
  • can 3月前
    0 307
    特定内容
  • mzy 3月前
    0 306
    1
  • iciyue 3月前
    0 305
    就是想看下特定内容
    -------------------------------------
    作者: bailianhr
    来源: 夜幕爬虫安全论坛
    原文链接: https://bbs.nightteam.cn/thread-158.htm
    版权声明: 若无额外声明,本帖为作者原创帖,转载请附上帖子链接!
  • dongzi 3月前
    0 304
    什么特定内容
  • fengbai 3月前
    0 303
    就想看看特定内容
  • LaVine24 3月前
    0 302
    1
  • 0 301
    见识一下特定内容
  • 0 300
    1
  • 0 299
    什么特定内容
    -------------------------------------
    作者: bailianhr
    来源: 夜幕爬虫安全论坛
    原文链接: https://bbs.nightteam.cn/thread-158.htm
    版权声明: 若无额外声明,本帖为作者原创帖,转载请附上帖子链接!
  • zhouyang 3月前
    0 298
    看内容
  • me194290 3月前
    0 297
    特定内容?
  • yuexi 3月前
    0 296
    1
  • mmm 3月前
    0 295
    333
  • 0 294
    m
  • mz_xing 4月前
    0 293
    7777
  • aren 4月前
    0 292
    1
  • 0 291
    1
  • 0 290
    看看
  • 0 289
    1x
  • 0 288
    666
  • 0 287
    1111111
  • hzh 4月前
    0 286
    1
  • dt_dream 4月前
    0 285
    看看
  • 0 284
    什么特定内容
    -------------------------------------
    作者: bailianhr
    来源: 夜幕爬虫安全论坛
    原文链接: https://bbs.nightteam.cn/thread-158.htm
    版权声明: 若无额外声明,本帖为作者原创帖,转载请附上帖子链接!
  • waihui 5月前
    0 283
    4rr
  • hzh 5月前
    0 282
    1
  • 二帅 6月前
    0 281

    1
  • 0 280
    2
  • jay 6月前
    0 279
    kk
  • 0 278
    1
  • wtgg 6月前
    0 277
    11
  • 非牛 6月前
    0 276
    我就蹭蹭
  • kidword 7月前
    0 275
    kk
  • vlinz 7月前
    0 274
    kk
  • cjp 7月前
    0 273
    1
  • 0 272
    1
  • 0 271
    A
  • 江川 7月前
    0 270
    1
  • 0 269
    1
  • yuyan86 7月前
    0 268
    666
  • leeorz 7月前
    0 267
    隐藏内容是啥
  • 0 266
    想看特定内容
  • zachary 7月前
    0 265
    就是想看下特定内容
  • 0 264
    啥是特定内容
  • 莫枫 7月前
    0 263
    1
  • Godwin 7月前
    0 262
    看看
  • MuggleK 8月前
    0 261
    11
  • spring 8月前
    0 260
    11
  • 0 259
    k'k
  • 0 258
    就是想看下特定内容
    -------------------------------------
    作者: bailianhr
    来源: 夜幕爬虫安全论坛
    原文链接: https://bbs.nightteam.cn/thread-158.htm
    版权声明: 若无额外声明,本帖为作者原创帖,转载请附上帖子链接!
  • 哈哈 8月前
    0 257
    1
  • ovwane 8月前
    0 256
    kk
  • 风叔 8月前
    0 255
    111
  • wenanzhe 8月前
    0 254
    就是想看下特定内容
    -------------------------------------
    作者: bailianhr
    来源: 夜幕爬虫安全论坛
    原文链接: https://bbs.nightteam.cn/thread-158.htm
    版权声明: 若无额外声明,本帖为作者原创帖,转载请附上帖子链接!
  • 0 253
    kk
  • 0 252
    特定内容
  • dabin 8月前
    0 251
    看看
  • elvis 8月前
    0 250
    123
  • jiaoyubo 8月前
    0 249
    6666
  • Joker456 8月前
    0 248
    kk
  • 0 247
    11
  • MSAndrew 9月前
    0 246
    1
  • 0 245


    高薪聘 爬虫大佬 2070426047  q

  • nuange 9月前
    0 244
    1
  • 0 243
    666
  • 0 242
    1
  • 折枝 9月前
    0 241
    1
  • huazero 9月前
    0 240
    1
  • Ithrael 9月前
    0 239
    1111
  • 0 238
    11
  • 0 237
    1
  • Miles 9月前
    0 236
    就是想看下特定内容
  • JasonLv 9月前
    0 235
    就是想看下特定内容
    -------------------------------------
    作者: bailianhr
    来源: 夜幕爬虫安全论坛
    原文链接: https://bbs.nightteam.cn/thread-158.htm
    版权声明: 若无额外声明,本帖为作者原创帖,转载请附上帖子链接!
  • 0 234
    1
  • 0 233
    1
  • 风月 9月前
    0 232
    666666
  • qwj520 9月前
    0 231
    什么特定内容
    -------------------------------------
    作者: bailianhr
    来源: 夜幕爬虫安全论坛
    原文链接: https://bbs.nightteam.cn/thread-158.htm
    版权声明: 若无额外声明,本帖为作者原创帖,转载请附上帖子链接!
  • 11235813 9月前
    0 230
    1
  • 0 229
    您好,本帖含有特定内容,请回复后再查看。
    -------------------------------------
    作者: bailianhr
    来源: 夜幕爬虫安全论坛
    原文链接: https://bbs.nightteam.cn/thread-158.htm
    版权声明: 若无额外声明,本帖为作者原创帖,转载请附上帖子链接!
返回