无法在与我的问题相关的文档/ SO中找到任何内容。 所以基本上我正在抓取一个有8个左右子域名的网站 他们都在使用Akamai / CDN。 我的问题是,如果我能找到几个不同的Akamai数据中心的Ips,我会以某种方式明确地说这个子域应该使用这个ip作为主机名等。所以基本上覆盖自动dns解析... 因为这样可以提高效率,而且我想在我分发爬行时不太可能受到限制。
由于
答案 0 :(得分:1)
您只需在hosts
文件中手动设置DNS名称即可。在Windows上,可以在C:\Windows\System32\Drivers\etc\hosts
和Linux /etc/hosts