接收证书 / GET 和/或 BeautifulSoup FanDuel 网页抓取的 403 错误

时间:2021-04-26 22:13:15

标签: python web-scraping beautifulsoup get

我正在尝试抓取以下页面:https://www.fanduel.com/games/57764/contests/57764-245891325/scoring

以下使用 urlopen() 的代码产生了证书验证失败错误:

url = 'https://www.fanduel.com/games/57764/contests/57764-245891325/scoring'
html = urlopen(url)
soup = BeautifulSoup(html, 'html.parser')

错误: urllib.error.URLError:

我也尝试使用以下代码,但我收到了

html = f'https://www.fanduel.com/games/57764/contests/57764-245891325/scoring'
r = get(html, verify=False)

非常感谢任何有关抓取此网站的建议,无论是代码更新还是建议使用不同的网络抓取包。谢谢!

更新 PER Maxlovesairandteslas 回复:

我现在遇到了一个新错误。在响应中它说:访问此页面已被拒绝。我更新了我的代码,所以我假设我至少进入了适当的页面,现在被拒绝了:

with requests.Session() as s: 
   p = s.post("fanduel.com/login", verify=False, data={"email": "","password": ""}) 
   base_page = s.get('fanduel.com/games/57764/contests/57764-245891325/scoring')#, headers=headers) 
   soup = BeautifulSoup(base_page.content, 'html.parser')
   print(soup.prettify())

1 个答案:

答案 0 :(得分:0)

看来您需要先登录网站才能玩游戏。就像@MendelG 所说的,试试这个:log in to website