我实现了自己的ProxyMiddleware类和RotateUserAgentMiddleware类。并在settings.py中进行了必要的更改。现在,问题在于将值分配给DOWNLOADER_MIDDLEWARES列表中的新元素。 我的代码在我给出的值上表现异常,任何人都可以建议我分配值的正确方法。
这是我的清单:
DOWNLOADER_MIDDLEWARES = {
'scrapy.downloadermiddlewares.httpproxy.HttpProxyMiddleware': None,
'IpRotation.ProxyMiddleware.ProxyMiddleware': 800,
'scrapy.downloadermiddleware.useragent.UserAgentMiddleware' : None,
'IpRotation.RotateUserAgentMiddleware.RotateUserAgentMiddleware':350
}
当我禁用此自定义设置时,一切正常。无法找到解决这个问题的方法。
答案 0 :(得分:0)
我想您忘了添加自定义中间件
'IPProxy.middlewares.MyCustomDownloaderMiddleware': 543