downloader / exception_type_count / scrapy.exceptions.IgnoreRequest

Question

我正在努力工作，可以抓取许多域。但是，在搜寻某些域时，我会遇到以下异常：

downloader/exception_type_count/scrapy.exceptions.IgnoreRequest

this is the terminal log:

我进行了搜索，结果表明我应该在设置中设置robots_obey = false。已设置，再次发生此异常！ 任何想法？

Answer 1

不仅robotstxt中间件引发了IgnoreRequest。最有可能是RedirectMiddleware在达到最大值时提高IgnoreRequest。重定向，这对于具有循环重定向的页面来说很常见。