Question

我正在尝试使用Requests从网站上抓取链接，一切顺利，直到我达到510个请求，然后我开始获取状态代码500，然后是状态代码414.如果我停止脚本而不是启动再次，它再次发生。

我正在尝试浏览汽车产品页面并保存所有汽车的链接。由于URL更改很少，我只是增加了我想要链接的页面的数量。

if r.status_code != 200: #this part is ineffective
    s = requests.session()
    time.sleep(10)

这是我试图解决问题的部分

507 14880 200 <RequestsCookieJar[]>
508 14910 200 <RequestsCookieJar[]>
509 14910 500 <RequestsCookieJar[]>
510 14910 500 <RequestsCookieJar[]>
511 14910 500 <RequestsCookieJar[]>
512 14910 500 <RequestsCookieJar[]>
513 14910 500 <RequestsCookieJar[]>
514 14910 500 <RequestsCookieJar[]>
515 14910 414 <RequestsCookieJar[]>
516 14910 414 <RequestsCookieJar[]>
517 14910 414 <RequestsCookieJar[]>

如果您想亲自尝试代码，则需要大约3-4分钟才能解决问题。

在完成508个请求后，它开始提供以下输出：

Dim fname As Variant
Dim myPath As String

myPath = "D:\FORMULAS\"
fname = Dir(myPath & "BABERs FORMULAS*")

If fname <> "" Then
    Workbooks.Open (myPath & fname)
End If

然后它继续414

如何重置python请求并避免获取状态代码500

0 个答案: