标签: scrapy python-3.5 scrapy-spider
Scrapy似乎在没有处理所有请求的情况下完成。我知道这是因为我在排队请求之前和之后都在记录,我可以清楚地看到它。
我正在登录解析和错误回调方法,并且没有调用那些丢失的请求。
如何调试这些请求的发生情况?
答案 0 :(得分:0)
您需要在重新排队请求时添加dont_filter=True。虽然请求可能与其他请求不匹配,但Scrapy会记住它已经发出的请求,如果您重新排队,它会过滤掉。它会假设它是错误的。
dont_filter=True