Python BeautifulSoup web scrapping:为什么section标签内部没有显示任何内容?

时间:2018-04-22 15:10:16

标签: python python-3.x web-scraping beautifulsoup

我正在尝试以下代码,但没有在section标记内找到任何内容

page = requests.get('https://www.iplt20.com/match/2018/20?tab=scorecard')
soup = BeautifulSoup(page.content, 'html.parser')
soup.find_all('section', {'class':'contentTab tab3 scorecardContent'})

我得到以下结果:
    [<section class="contentTab tab3 scorecardContent" id="scorecardContent" style="display:none"></section>]

以下是部分标签:
Section Tag

我查了一下,发现我想要的内容/文字在innerText,但我无法抓取

innerText

请帮助,我如何获取innerText中显示的详细信息?

1 个答案:

答案 0 :(得分:1)

您可以使用RequestsHTML

执行此操作

<强>代码:

from requests_html import HTMLSession

session = HTMLSession()
r = session.get('https://www.iplt20.com/match/2018/20?tab=scorecard')
r.html.render()

tab3 = r.html.find('#scorecardContent', first=True)
print(tab3.text)

<强>输出:

Sunrisers Hyderabad Innings (Run Rate: 8.90)
Batsmen
Runs
...