Scrapy - 为主机使用多个IP地址

时间:2014-08-27 07:59:04

标签: python scrapy web-crawler

无法在与我的问题相关的文档/ SO中找到任何内容。 所以基本上我正在抓取一个有8个左右子域名的网站 他们都在使用Akamai / CDN。 我的问题是,如果我能找到几个不同的Akamai数据中心的Ips,我会以某种方式明确地说这个子域应该使用这个ip作为主机名等。所以基本上覆盖自动dns解析... 因为这样可以提高效率,而且我想在我分发爬行时不太可能受到限制。

由于

1 个答案:

答案 0 :(得分:1)

您只需在hosts文件中手动设置DNS名称即可。在Windows上,可以在C:\Windows\System32\Drivers\etc\hosts和Linux /etc/hosts

中找到