爬虫与数据清洗

smart

大佬们，有个需求暂时想不到好的办法，假如我有十万条数据需要爬取，用了多线程差不多要20分钟，我每隔一小时爬取一次，然后再计算相同商品的前后一小时某个值的差值，以前这种需求是爬取完，在总个清洗，但现在时间必须压缩在半小时内，大佬们有没有好点的方案

kbqncf · 发表于 2021-7-20 14:09:37

不是20分钟就可以采集完了吗?
抓取和清洗程序分开处理不就完事了吗？

dt_dream · 发表于 2021-7-27 10:55:28

请问这个问题难点在哪？？？