Python - Scrapy中settings.py的Downloader中间件问题

时间:2015-10-12 09:24:06

标签: python-2.7 scrapy scrapy-spider

我实现了自己的ProxyMiddleware类和RotateUserAgentMiddleware类。并在settings.py中进行了必要的更改。现在,问题在于将值分配给DOWNLOADER_MIDDLEWARES列表中的新元素。 我的代码在我给出的值上表现异常,任何人都可以建议我分配值的正确方法。

这是我的清单:

    DOWNLOADER_MIDDLEWARES = {
            'scrapy.downloadermiddlewares.httpproxy.HttpProxyMiddleware': None,
            'IpRotation.ProxyMiddleware.ProxyMiddleware': 800,
            'scrapy.downloadermiddleware.useragent.UserAgentMiddleware' : None,
            'IpRotation.RotateUserAgentMiddleware.RotateUserAgentMiddleware':350
            }

当我禁用此自定义设置时,一切正常。无法找到解决这个问题的方法。

1 个答案:

答案 0 :(得分:0)

我想您忘了添加自定义中间件

'IPProxy.middlewares.MyCustomDownloaderMiddleware': 543