将不同的IP地址绑定到scrapy蜘蛛

Question

如何将不同的公共IP地址绑定到scrapy蜘蛛？此外，是否可以为每个源IP设置速率限制（如CONCURRENT_REQUESTS_PER_SOURCE_IP）。

从scrapy文档中，CONCURRENT_REQUESTS_PER_DOMAIN和CONCURRENT_REQUESTS_PER_IP似乎都适用于目标域和目标IP。

Answer 1

这是可能的，但需要你稍微改变Scrapy核心。 其他人不久前提出了一个改变建议，但它从来没有通过当前来源的外观来实现。

使用the information in this change proposal，您应该可以在几分钟内自行修补。

虽然更改提案已超过1.5年，但该特定提案的编辑文件的当前来源仍然非常相似。