Question

我使用＆＃39; request＆＃39;在python中编写了一个代码。和＆＃39; beautifulSoup＆＃39; api从谷歌返回前100个网站的文本数据。嗯，它在大多数网站上运行良好，但它会给那些稍后回复或根本没有响应的人提供错误我收到此错误

引发MaxRetryError（_pool，url，error或ResponseError（cause）） requests.packages.urllib3.exceptions.MaxRetryError:HTTPConnectionPool（host =＆＃39; www.lfpress.com＆＃39;，port = 80）：使用url：/ 2015/11/06 / fair-with-a超出最大重试次数-flare-samosas-made-easy（由NewConnectionError引起（＆＃39;：无法建立新连接：[Errno 11001] getaddrinfo failed＆＃39;，））

我是否应该更改在请求API中编写的代码？或者我需要使用一些代理？我该如何离开该网站继续下一个网站？由于错误导致我的执行停止。

Answer 1

在您的调用周围添加“try except”块以捕获该异常，如果您不关心错误，请继续：

import requests
try:
    requests.get('http://stackoverflow.com/')
except requests.packages.urllib3.exceptions.MaxRetryError as e:
    print repr(e)

如何使用Python从网站上抓取文本

1 个答案: