如何使用scrapy获取XMLHTTP请求的数据

Question

我所处理的数据包含一些XHR请求的网页。 我使用开发人员工具获得了XHR请求的URL。 现在如何在我的spider.py文件中实现相同的内容，以及如何获取其中的所有值。我已经开始使用scrapy而不知道如何处理ajax post请求。请指导我如何获取数据，并希望可用的字段存储在excel文件中。

Answer 1

您需要在脚本中模拟Web请求。为此，您可以执行以下操作：

url = 'your url string'
req = scrapy.Request(url,
                     method='POST',
                     body='{"filters": []}',
                     headers={'X-Requested-With': 'XMLHttpRequest',
                              'Content-Type': 'application/json; charset=UTF-8'},
                     callback=self.parser2)
yield req

这只是一个示例，可能不符合您的确切用例。您需要调查实际请求以确定要发送的标头，正文以及是否要进行回调。