抓取：＆＃34;查询字符串参数＆＃34;之间的差异和＆＃34;请求有效负载＆＃34;

Question

我正在尝试使用Scrapy抓取ajax网站，网址为http://www.target.com/p/bounty-select-a-size-white-paper-towels-12-mega-rolls/-/A-14920157#prodSlot=medium_1_2&term=bounty

我的目标是获得商店ID。我通过检查chrome开发人员工具中的所有XHR请求并找到名称（＆＃34; v1？request_type = availability＆amp; key = .....＆＃34;）成为我想要的那个。< / p>

我的问题是：

1. 在开发人员工具中，有＆＃34;查询字符串参数＆＃34;这似乎是请求网址?之后的部分。还有Request Payload部分，它是一个json。 那么我应该使用哪一个发送到服务器？如果我需要请求有效负载，我该如何发送json文件？

2. 当我发送整个网址来获取json： https://api.target.com/available_to_promise_aggregator/v1?request_type=availability&key=q0jGNkIyuqUTYIlzZKoCfK6ugaNGSP8h

我得到了＃34;请求方法＆＃39; GET＆＃39;不支持＆＃34;，所以我应该使用POST代替还是我做错了什么？

Answer 1

您必须猜到，您必须在?之后发送查询字符串作为URL的一部分。

要在请求中包含JSON有效负载，并将该请求作为POST请求发送，即use the method and body parameters类的Request。