2回答

0收藏

爬取某东图片要15秒一次,求更快的方案

问答交流 问答交流 2151 人阅读 | 2 人回复 | 2020-01-21


爬某东商品介绍的图片,我现在每个商品页分配一个线程+一个代理ip,然后每个图片下载在分配一个新线程+共用一个代理ip,爬八个图片大概要15秒

图片大小200-400kb左右

一个商品要15秒左右

用了多线程发现,就算一股脑上,配置也不行

求解更快的方案
分享到:
回复

使用道具 举报

回答|共 2 个

Mshadow

发表于 2020-1-21 11:25:39 | 显示全部楼层

用异步试试?
回复

使用道具 举报

aadd445aadda

发表于 2020-1-21 12:14:46 | 显示全部楼层

有具体思路吗?
回复

使用道具 举报