美丽汤未显示在网页上看到的文字

时间:2019-11-12 04:13:01

标签: python web-scraping beautifulsoup

我正在抓取网站: https://www.sportsbookreview.com/betting-odds/nba-basketball/merged/?date=20131101

我正在尝试使用漂亮的汤汁来打赌,我在查看页面时可以看到想要的结果。问题是当我将其拉入时,我看不到实际结果只是一个“-”

betting_page = requests.get(f'https://www.sportsbookreview.com/betting-odds/nba-basketball/merged/?date=20131101')
betting_page = BeautifulSoup(betting_page.text, 'html.parser')
for item in betting_page.find_all('main', class_='_2ZO4X'):
    print (item.text) #I should see the betting lines here but I only see '-'

任何BS4专家都知道为什么bs没有选择真实文本吗?

2 个答案:

答案 0 :(得分:0)

您应该知道BeautifulSoup只能从网页的HTML解析DOM。但是,您在页面中看到的统计信息不是通过HTML而是通过JSON提供给您的。

尝试获取JSON的真实查询URL,您可以获取JSON格式的统计信息。

答案 1 :(得分:0)

如果您试图获取表中的数据,则第1,2,3,4,5,t列中的数字是您在寻找错误的元素,正确的方法将是

for item in betting_page.find_all('div', class_='_1Y3rN'):
   for div in item.find_all('div'):
      print (div.text)