请求在scrapy排队后消失

时间:2017-09-28 10:01:30

标签: scrapy python-3.5 scrapy-spider

Scrapy似乎在没有处理所有请求的情况下完成。我知道这是因为我在排队请求之前和之后都在记录,我可以清楚地看到它。

我正在登录解析和错误回调方法,并且没有调用那些丢失的请求。

如何调试这些请求的发生情况?

1 个答案:

答案 0 :(得分:0)

您需要在重新排队请求时添加dont_filter=True。虽然请求可能与其他请求不匹配,但Scrapy会记住它已经发出的请求,如果您重新排队,它会过滤掉。它会假设它是错误的。