某网站post请求翻页后formdata不会改变，求大佬指点下

a992823677

如上图所示，加载多页，post请求页中的Form Data总是不会改变，每次都是只能拿到第一页的数据，求大佬指点下，怎样才能全部拿到

a992823677 · 发表于 2020-2-29 21:01:25

爬取的网页是：https://www.huxiu.com/article/，虎嗅网

downdawn · 发表于 2020-2-29 22:48:10

回复不了图片。。

关键参数：recommend_time
js路径：https://s1-www.huxiucdn.com/dist/js/article.a9c261719005e24840bb.js:formatted
断点大概在3885，关键字last_dateline，控制台可以打印出来对应的时间戳

我不知道怎么调用这个js函数，如果知道，麻烦指导一下，谢谢！

a992823677 · 发表于 2020-3-1 17:02:37

我也不知道，只能坐等大佬了

tangxu · 发表于 2020-3-2 08:39:49

recommend_time 我这边测试一直都在变化... 不知道你的是什么情况

a992823677 · 发表于 2020-3-2 15:17:22

我这里也是一直变化的，就是不知道如何遍历获取全部数据

tangxu · 发表于 2020-3-2 15:32:56

每次返回的数据中last_dateline字段就是下一次请求的data，你可以观察下

某网站post请求翻页后formdata不会改变，求大佬指点下

本帖子中包含更多资源

a992823677 LV1