某些网站要求我们拥有特定的IP地址来显示某些信息,例如。国家X的广告。我想知道是否可以使用我的ruby脚本@scraperwiki使用代理(最好是ruby)来获得结果,就好像我在那个国家X.现在脚本获得结果英国,如果我使用HTTP代理,我可以看到我想要正确检索数据的网站。问题是Scraperwiki没有像在X国家那样返回网页
答案 0 :(得分:2)
是。你应该使用Mechanize:
require 'mechanize'
agent = Mechanize.new
agent.set_proxy host, port
page = agent.get url
现在就像使用Nokogiri文档一样致电page#search
或page#at
。