我正在使用Scrapy,并且在response_is_ban函数中,我有两个对象,一个{Request}对象和一个{Response}对象。
from scrapy.http import Request
由于某种原因,Scrapy请求返回的结果与标准Curl不同。
是否可以重新运行{Request}对象?
类似的东西:
response = request.get_again()
目标是弄清楚我的Curl函数和Scrapy请求对象之间到底有什么区别,以及为什么它们会返回不同的结果。任何建议都将受到欢迎。
编辑:我有另一个问题,Scrapy实际上在代码中体现了该请求?我可以在其中放置调试点的地方有request.get()函数吗?
答案 0 :(得分:1)
要进行调试,您可以在fetch
会话中使用scrapy.shell
:https://docs.scrapy.org/en/latest/topics/shell.html#invoking-the-shell-from-spiders-to-inspect-responses