处理请求的建议

时间:2019-06-15 14:27:08

标签: python beautifulsoup python-requests

我是请求模块的新手,正在尝试从拍卖网站上抓取数据。这需要我发送很多request.get(...)。在大多数情况下,它可以正常工作,但是由于网络问题,有时它会失败并使我的整个程序崩溃。

错误是:

A connection attempt failed because the connected party did not properly respond after a period of time, or established connection failed because connected host has failed to respond.

我正在使用for循环进行重试,这使我的程序更加健壮,但有时仍会中断。

这是我的代码:

def connect(link)
   for i in range(5):
      try: 
         return requests.get(link, proxies = {'http': None}).text
      except Exception as connecting_error:
         time.sleep(5)
         continue

page = connect(link)
soup = BeautifulSoup(page, 'html.parser')

因为connect()返回None,这意味着它已经退出循环,当我尝试创建汤对象时会引发TypeError吗?我应该把它放进While循环吗?有什么建议吗?

谢谢。

0 个答案:

没有答案