Scrapy，Crawlera过滤的重复请求：

Question

我正在使用刮y的蜘蛛来抓取Google搜索。我也在使用Crawlera以避免被禁止和填充。它工作正常，但是突然我开始出现重复的过滤器错误。我挖了互联网，发现在请求构造函数和设置文件中添加了dont_filter。 但是蜘蛛程序将继续无限运行，并且记录器将打印抓取的0pages / 0min。

任何帮助将不胜感激。