为什么我无法从AWS访问此URL,但我可以从本地计算机上访问此URL?

时间:2015-12-15 23:03:43

标签: ruby amazon-web-services web-scraping

此处DataFetcherTask

test.rb

当我从本地计算机运行此代码时,我成功打开并阅读页面,打印其内容。

但是当我使用命令require 'open-uri' require 'openssl' OpenSSL::SSL::VERIFY_PEER = OpenSSL::SSL::VERIFY_NONE puts open('https://www.ic.gc.ca/app/scr/cc/CorporationsCanada/fdrlCrpDtls.html?corpId=1056565').read 从我的AWS框运行它时,我收到503错误。这只发生在过去一周。在此之前,我可以毫无问题地在网站上打开页面。

我的本​​地计算机运行Windows 7.我的AWS框运行Linux。

这里发生了什么?

1 个答案:

答案 0 :(得分:3)

我猜测www.ic.gc.ca已经配置了禁止从AWS访问的内容。基于你的刮刀直到最近工作的事实,甚至可能是他们发现他们被刮掉并制定规则让你离开,错误地击中了所有的AWS。