例如,据我所知,有两种方法可以禁用RedirectMiddleware
。
答案 0 :(得分:0)
略有不同,主要是为了方便。
使用REDIRECT_ENABLED
,您可以在spider.custom_settings
类参数中进行调整。即
class MySpider(scrapy.Spider):
name = 'myspider'
custom_settings = {'REDIRECT_ENABLED': True}
这样您就可以在REDIRECT_ENABLED = False
中设置settings.py
项目设置,并且只能在某些蜘蛛上启用它。
另一种方法是在DOWNLOADER_MIDDLEWARES
类参数中设置每个蜘蛛中的整个custom_settings
,这非常麻烦,而且我不确定它是否会起作用。