Wget 503不可用错误

时间:2015-10-13 04:41:28

标签: web-scraping wget

$ wget www.amazon.com
Resolving www.amazon.com... 205.251.242.54
Connecting to www.amazon.com|205.251.242.54|:80... connected.
HTTP request sent, awaiting response... 503 Service Unavailable
2015-10-12 23:27:24 ERROR 503: Service Unavailable.

我正在尝试在网址上发布wget并收到此错误。我需要存储HTML文件,我希望wget可以工作:(

我尝试使用--no-proxy选项,但它没有帮助。

2 个答案:

答案 0 :(得分:5)

问题是亚马逊防火墙阻止其用户代理未设置或不正确的连接。

您可以尝试将用户代理设置为wget并使用以下命令获取amazon(请注意,如果此用户代理无效,您可能需要更改有效的用户代理):

wget -U "Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/61.0.3163.79 Safari/537.36" https://amazon.com

答案 1 :(得分:3)

我可以毫无问题地发出wget http://www.amazon.com 我的猜测是你被亚马逊阻止了一点点... ...

503服务不可用

  

由于a,服务器当前无法处理请求   临时超载或维护服务器。这意味着   这是一个暂时的条件,一些后会缓解   延迟。如果已知,延迟的长度可以用a表示   Retry-After标头。如果没有给出Retry-After,客户端应该是   像处理500响应那样处理响应。

  Note: The existence of the 503 status code does not imply that a
  server must use it when becoming overloaded. Some servers may wish
  to simply refuse the connection.

http://www.w3.org/Protocols/rfc2616/rfc2616-sec10.html