我正在尝试抓取以下页面:https://www.fanduel.com/games/57764/contests/57764-245891325/scoring
以下使用 urlopen() 的代码产生了证书验证失败错误:
url = 'https://www.fanduel.com/games/57764/contests/57764-245891325/scoring'
html = urlopen(url)
soup = BeautifulSoup(html, 'html.parser')
错误:
urllib.error.URLError:
我也尝试使用以下代码,但我收到了
html = f'https://www.fanduel.com/games/57764/contests/57764-245891325/scoring'
r = get(html, verify=False)
非常感谢任何有关抓取此网站的建议,无论是代码更新还是建议使用不同的网络抓取包。谢谢!
更新 PER Maxlovesairandteslas 回复:
我现在遇到了一个新错误。在响应中它说:访问此页面已被拒绝。我更新了我的代码,所以我假设我至少进入了适当的页面,现在被拒绝了:
with requests.Session() as s:
p = s.post("fanduel.com/login", verify=False, data={"email": "","password": ""})
base_page = s.get('fanduel.com/games/57764/contests/57764-245891325/scoring')#, headers=headers)
soup = BeautifulSoup(base_page.content, 'html.parser')
print(soup.prettify())