关闭中间件和禁用它之间的区别?

时间:2016-02-20 20:25:12

标签: python web-scraping scrapy

1 个答案:

答案 0 :(得分:0)

略有不同,主要是为了方便。

使用REDIRECT_ENABLED,您可以在spider.custom_settings类参数中进行调整。即

class MySpider(scrapy.Spider):
    name = 'myspider'
    custom_settings = {'REDIRECT_ENABLED': True}

这样您就可以在REDIRECT_ENABLED = False中设置settings.py项目设置,并且只能在某些蜘蛛上启用它。
另一种方法是在DOWNLOADER_MIDDLEWARES类参数中设置每个蜘蛛中的整个custom_settings,这非常麻烦,而且我不确定它是否会起作用。