请求在scrapy排队后消失

Question

Scrapy似乎在没有处理所有请求的情况下完成。我知道这是因为我在排队请求之前和之后都在记录，我可以清楚地看到它。

我正在登录解析和错误回调方法，并且没有调用那些丢失的请求。

如何调试这些请求的发生情况？

Answer 1

您需要在重新排队请求时添加dont_filter=True。虽然请求可能与其他请求不匹配，但Scrapy会记住它已经发出的请求，如果您重新排队，它会过滤掉。它会假设它是错误的。