代理/从其他国家/地区获取数据

时间:2013-02-16 14:39:04

标签: ruby proxy web-scraping scraperwiki

某些网站要求我们拥有特定的IP地址来显示某些信息,例如。国家X的广告。我想知道是否可以使用我的ruby脚本@scraperwiki使用代理(最好是ruby)来获得结果,就好像我在那个国家X.现在脚本获得结果英国,如果我使用HTTP代理,我可以看到我想要正确检索数据的网站。问题是Scraperwiki没有像在X国家那样返回网页

1 个答案:

答案 0 :(得分:2)

是。你应该使用Mechanize:

require 'mechanize'
agent = Mechanize.new
agent.set_proxy host, port
page = agent.get url

现在就像使用Nokogiri文档一样致电page#searchpage#at