使用python scrapy发送请求负载

Question

我正在尝试抓取一个网站，我可以发现该网址有一个带有效载荷参数的帖子请求，如下所示。我不知道如何使它成为有效载荷中的字典并将其发送到formdata。以下所有代码都在Request with payload下，如何在formdata中发送？

    ------WebKitFormBoundaryj9yKl83Zu7ki71zE
    Content-Disposition: form-data; name="textquery"

    852432-B21
    ------WebKitFormBoundaryj9yKl83Zu7ki71zE--

如何格式化这个并使用python-scrapy发送它？

Answer 1

您应该将其作为原始请求正文发送，并带有适当的标题：

body = '''--WebKitFormBoundaryj9yKl83Zu7ki71zE
Content-Disposition: form-data; name="textquery"

852432-B21
--WebKitFormBoundaryj9yKl83Zu7ki71zE--
'''

yield Request(url, method='POST', body=body, 
              headers={'Content-Type': 'multipart/form-data; boundary=WebKitFormBoundaryj9yKl83Zu7ki71zE'})