我是请求模块的新手,正在尝试从拍卖网站上抓取数据。这需要我发送很多request.get(...)。在大多数情况下,它可以正常工作,但是由于网络问题,有时它会失败并使我的整个程序崩溃。
错误是:
A connection attempt failed because the connected party did not properly respond after a period of time, or established connection failed because connected host has failed to respond.
我正在使用for循环进行重试,这使我的程序更加健壮,但有时仍会中断。
这是我的代码:
def connect(link)
for i in range(5):
try:
return requests.get(link, proxies = {'http': None}).text
except Exception as connecting_error:
time.sleep(5)
continue
page = connect(link)
soup = BeautifulSoup(page, 'html.parser')
因为connect()返回None
,这意味着它已经退出循环,当我尝试创建汤对象时会引发TypeError
吗?我应该把它放进While循环吗?有什么建议吗?
谢谢。