Question

我遇到了OpenURI::HTTPError: 403 Forbidden错误当我尝试open带逗号的URL（或其他特殊字符，如.）时。我可以在浏览器中打开相同的URL。

require 'open-uri'
url = "http://en.wikipedia.org/wiki/Thor_Industries,_Inc."
f = open(url)
# throws OpenURI::HTTPError: 403 Forbidden error

如何转义此类网址？

我试图用CGI::escape转义网址，但我得到同样的错误。

f = open(CGI::escape(url))

Answer 1

通常，只需要模块cgi，然后使用CGI::escape(str)。

require 'cgi'
require 'open-uri'
escaped_page = CGI::escape("Thor_Industries,_Inc.")
url = "http://en.wikipedia.org/wiki/#{escaped_page}"
f = open(url)

但是，这似乎不适用于您的特定实例，仍然会返回403.无论如何，我会将此留在此处以供参考。

编辑：维基百科拒绝您的请求，因为它怀疑您是机器人。似乎某些明确内容的页面被授予您，但那些与其“安全”模式不匹配的页面（例如包含点或逗号的页面）将受到筛选。如果您实际输出内容（我使用Net::HTTP执行此操作），您将获得以下内容：

脚本应使用带有联系信息的信息性用户代理字符串，否则可能会被IP阻止，恕不另行通知。

但是，提供用户代理字符串可以解决问题：

open("http://en.wikipedia.org/wiki/Thor_Industries,_Inc.",
  "User-Agent" => "Ruby/#{RUBY_VERSION}")

使用`open-uri`用逗号打开WIKI URL

1 个答案: