Question

尝试在“运动参考”页面上检索4个统计信息框。 4个统计框（两个团队，基本和高级统计数据）可以在“tfoot”下找到。但是，以下代码仅返回页面的基本统计信息框：

import requests
from bs4 import BeautifulSoup

r = requests.get("https://www.sports-reference.com/cbb/boxscores/2016-11-11-
villanova.html")

c = r.content
soup = BeautifulSoup(c)

boxes = soup.find_all("tfoot")
len(boxes)

我需要在代码中指定什么来检索所有四个框？

Answer 1

其中两个表隐藏在HTML注释中，这些表都可以按如下方式提取：

import requests
from bs4 import BeautifulSoup, Comment

r = requests.get("https://www.sports-reference.com/cbb/boxscores/2016-11-11-villanova.html")
soup = BeautifulSoup(r.content, 'html.parser')
boxes = list(soup.find_all("tfoot"))

for comment in soup.find_all(string=lambda text:isinstance(text, Comment)):
    if 'tfoot' in comment:
        hidden_soup = BeautifulSoup(comment, 'html.parser')
        boxes.extend(list(hidden_soup.find_all("tfoot")))

data = []        

for box in boxes:
    for tr in box.find_all('tr'):
        data.append([td.text for td in tr.find_all('td')])

for row in data:
    print row

为您提供以下数据：

[u'200', u'19', u'65', u'.292', u'13', u'33', u'.394', u'6', u'32', u'.188', u'4', u'7', u'.571', u'4', u'22', u'26', u'12', u'3', u'0', u'13', u'15', u'48']
[u'200', u'33', u'67', u'.493', u'18', u'26', u'.692', u'15', u'41', u'.366', u'7', u'12', u'.583', u'9', u'41', u'50', u'15', u'8', u'4', u'8', u'14', u'88']
[u'200', u'.351', u'.338', u'.492', u'.108', u'8.9', u'71.0', u'34.2', u'63.2', u'4.0', u'0.0', u'16.0', u'100.0', u'64.0', u'117.3']
[u'200', u'.605', u'.604', u'.612', u'.179', u'29.0', u'91.1', u'65.8', u'45.5', u'10.7', u'12.1', u'10.0', u'100.0', u'117.3', u'64.0']

为什么find_all（）没有返回完整的结果？

1 个答案: