将不同的IP地址绑定到scrapy蜘蛛

时间:2011-11-08 15:16:21

标签: python ip scrapy

如何将不同的公共IP地址绑定到scrapy蜘蛛?此外,是否可以为每个源IP设置速率限制(如CONCURRENT_REQUESTS_PER_SOURCE_IP)。

从scrapy文档中,CONCURRENT_REQUESTS_PER_DOMAIN和CONCURRENT_REQUESTS_PER_IP似乎都适用于目标域和目标IP。

1 个答案:

答案 0 :(得分:0)

这是可能的,但需要你稍微改变Scrapy核心。 其他人不久前提出了一个改变建议,但它从来没有通过当前来源的外观来实现。

使用the information in this change proposal,您应该可以在几分钟内自行修补。

虽然更改提案已超过1.5年,但该特定提案的编辑文件的当前来源仍然非常相似。