Question

我正在尝试使用urllib和BeautifulSoup来抓取表格，我收到错误：

“urllib.error.HTTPError：HTTP错误302：HTTP服务器返回了导致无限循环的重定向错误。最后30x错误消息是：发现”

我听说这与需要Cookie的网站有关，但在第二次尝试后我仍然收到此错误：

import urllib.request
from bs4 import BeautifulSoup
import re

opener = urllib.request.build_opener()
opener.addheaders = [('User-agent', 'Mozilla/5.0')]
file = opener.open(testURL).read().decode()
soup = BeautifulSoup(file)
tables = soup.find_all('tr',{'style': re.compile("color:#4A3C8C")})
print(tables)

Answer 1

fiew建议：

如果您必须处理Cookie，请使用HTTPCookieProcessor。
您不必使用自定义用户代理，但如果您想模拟Mozilla，则必须使用它的全名。此网站不接受'Mozilla/5.0'并将继续重定向。
您可以使用HTTPError捕获此类例外情况。

opener = urllib.request.build_opener(urllib.request.HTTPCookieProcessor())
user_agent = 'Mozilla/5.0 (Windows NT 6.1; rv:54.0) Gecko/20100101 Firefox/54.0'
opener.addheaders = [('user-agent', user_agent)]

try:
    response = opener.open(testURL)
except urllib.error.HTTPError as e:
    print(e)
except Exception as e:
    print(e)
else: 
    file = response.read().decode()
    soup = BeautifulSoup(file, 'html.parser')
    ... etc ...

urllib重定向错误

1 个答案: