Scrapy中间件混乱

Question

我使用以下代码在我的抓取工具中合并代理：Scrapy-Proxies

根据setup instructions我的下载中间件代码：

DOWNLOADER_MIDDLEWARES = {
    'scrapy.downloadermiddlewares.retry.RetryMiddleware': 90,
    'scrapy_proxies.RandomProxy': 100,
    'scrapy.downloadermiddlewares.httpproxy.HttpProxyMiddleware': 110,
}

一切正常，但我现在在我的蜘蛛类中设置了一个新函数，它更新了保存代理的文本文件（由上面的源引用）和更新的替换。

我正在寻找一些关于我需要对中间件和/或源代码进行哪些更改以获得此代码以便在每个请求上“重新读取”​​文本文件的一般性建议？感谢