Scrapy Get的重定向重定向到302，并且不会抓取该网站

Question

Scrapy获取302重定向到另一个链接。在链接'https://xxxxxx.queue-it.net?c.....com'中，Scrapy没有添加'/'。应该是'https://xxxxxx.queue-it.net/?c.....com'。

我尝试在Middleware.py中添加“ /”。在downloaderMiddleware功能下。但是，它不起作用。 当我手动使用'/'添加重定向链接时，Scrapy会爬行。但是，它不是很动态。

Answer 1

在特定请求中设置'dont_redirect': True或通过将REDIRECT_ENABLED设置设置为False来全局禁用重定向。