如何将网站读作不同的IP地址?

时间:2011-03-24 12:13:53

标签: screen-scraping nokogiri open-uri

我正在使用Nokogiri筛选几个网站。 我的网站托管在美国服务器上,因此当它获取网站时,网站会像用户是美国用户一样进行响应。即使服务器位于美国,我也需要网站回复,就好像我是澳大利亚用户一样。 在本地运行时它工作正常,因为它在本地响应就好像是澳大利亚。

我如何使用Nokogiri阅读网站,好像我来自其他国家?

2 个答案:

答案 0 :(得分:2)

您必须通过澳大利亚的代理商运行您的请求。

这与Nokogiri没有任何关系 - 无论你如何试图刮取页面,它都适用。 HTTP通过TCP传输,这是一种双向协议,因此您无法欺骗其IP地址。如果您试图欺骗TCP数据包的IP地址,则永远不会得到您的回复。

答案 1 :(得分:1)

您可以将Tor配置为始终使用退出节点from a specific country。但是,请不要使用这种方法,如果这会使Tor网络承受一些严重的压力(即连续取出页面);在这种情况下,请考虑购买(澳大利亚的)annonimizing服务(或简单的代理)。