刮擦下一页XHR请求

Question

我想抓这个用户reviews的第二页。

然而，下一个按钮执行XHR请求，虽然我可以使用Chrome开发人员工具看到它，但我无法复制它。

Answer 1

这不是一件容易的事。首先你应该安装它 extension。 它可以帮助您根据捕获的数据测试自己的请求，即捕获和模拟捕获数据的请求。

正如我看到他们在这个XHR请求中发送一个令牌，所以你需要从html页面体中获取它（存储在源代码中，js变量＆＃34; taSecureToken＆＃34;）。

接下来，你需要做四个步骤：

1. 使用插件捕获POST请求
2. 将令牌更改为
之前保存
3. 在POST请求数据中设置limit和offset变量
4. 使用结果正文生成请求

注意：在此请求服务器上，返回包含下一页上已加载对象信息的json数据（不是下一页的html）。