Scrapy没有遵循给定的请求

Question

oldIndex

上面的代码不会触发异常。我让它在Pycharm的调试中运行。如在scrapy网站上的教程中所述，这是一个锚定选择器，但没有任何内容被刮取。怎么了？

Answer 1

在allowed_domains中，您只能指定一个不带方案的域（www.gumtree.com.au）。否则，scrapy会阻止所有“异地”请求，以为它们的域与允许的域不匹配。