python - HTTP错误503服务不可用

时间:2014-08-16 22:33:36

标签: error-handling web-scraping

我正在尝试从谷歌和linkedin中获取数据。不知怎的,它给了我这个错误:

*** httperror_seek_wrapper: HTTP Error 503: Service Unavailable

有人可以帮忙建议我如何解决这个问题吗?

2 个答案:

答案 0 :(得分:2)

Google只是将您的查询检测为自动查询。您需要一个验证码解算器才能获得无限的结果。以下链接可能会有所帮助。

https://support.google.com/websearch/answer/86640?hl=en

使用OCR引擎绕过验证码

http://www.debasish.in/2012/01/bypass-captcha-using-python-and.html

简单方法:

更简单的方法是简单地使用sleep()几次并生成随机查询。这样谷歌就不会发现你使用的是自动化系统。但系统要慢得多......

错误处理:

要简单地删除错误消息,请使用尝试

答案 1 :(得分:2)

我遇到了同样的情况,并尝试在每次请求传播请求之前使用sleep()函数。看起来它工作正常但很快就失败了,即使延迟了2秒。最后解决它的是:

with contextlib.closing(urllib.urlopen(urlToOpen)) as x:
    #do stuff with x. 

我这样做是因为我认为打开太多请求会让它保持打开状态并且必须关闭。尽管如此,它的延迟时间却少于0.5秒。