我正在尝试抓取一个appStore，尤其是每个应用程序的评论。问题在于，评论是动态的，客户端正在进行AJAX POST调用以获取该数据。还在为每个页面动态生成此调用的有效负载。我想知道是否有任何方法可以通过代码截取此请求以获取有效负载，从而可以使用请求或任何其他库进行调用。我可以使用从网络浏览器的检查网络活动实用工具中获取的参数通过POSTMAN进行此调用。
我可以使用硒来刮除最终加载的页面，但是它等待整个页面加载，这是高度未优化的，因为我不需要等待整个页面加载。
payload = "<This is dynamically created for every page and is constant for that given page>"
header = {"Content-Type": "application/x-www-form-urlencoded"}
url = 'https://appexchange.salesforce.com/appxListingDetail'
r = requests.post(url=url, data=payload, headers=header)
我想知道是否有可能通过刮板获取此有效载荷，该刮板在尝试刮除基本网页时可以拦截所有AJAX调用。