Question

Scrapy具有很好的调试功能。但是我无法找到调试头文件的方法，获取，发布由FormRequest.from_response发送的param

有什么办法，我可以看到那些帖子数据？如果它从隐藏字段发送值，我特别担心。

Answer 1

您可以创建自定义FormRequest

from scrapy import FormRequest


class MyOwnFormRequest(FormRequest):

    def __init__(*args, **kwargs):
        # debug here
        super(MyOwnFormRequest, self).__init__(*args, **kwargs)
        # debug here too


...
def start_requests():
    yield MyOwnFormRequest(...)

Answer 2

在处理对FormRequest对象的响应的方法上，您可以检查最初从response.request.headers发送的请求标头。

例如：

>>> response.request.headers
{b'Accept': [b'text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8'], b'Accept-Language': [b'en'], b'User-Agent': [b'Scrapy/1.5.2 (+https://scrapy.org)'], b'Accept-Encoding': [b'gzip,deflate']}

通过FormRequest.from_response调试发送的头文件

2 个答案: