Question

我遇到了抓刮pro-football-reference.com的问题。我正在尝试访问“Team Offense”表，但似乎无法定位div / table。我能做的最好的事情是：

soup.find('div', {'id':'all_team_stats})

它不返回表，也不是它的直接div包装器。以下尝试返回“无”：

soup.find('div', {'id':'div_team_stats'})
soup.find('table', {'id':'team_stats'})

我已经通过以下方式抓取了不同的页面：

soup.find('table', {'id':'table_id})

但我无法弄清楚为什么它不在这个页面上工作。以下是我一直在使用的代码。非常感谢任何帮助！

from bs4 import BeautifulSoup
import urllib2

def make_soup(url):
    page = urllib2.urlopen(url)
    soupdata = BeautifulSoup(page, 'lxml')
    return soupdata

def get_player_totals():
    soup = make_soup("http://www.pro-football-reference.com/years/2015/")

    tableStats = soup.find('table', {'id':'team_stats'})

    return tableStats

print get_player_totals()

编辑：

感谢所有人的帮助。以下两种解决方案都取得了成功。非常感谢！

Answer 1

这里有几点想法：首先，正如评论中所提到的，acutal表已被注释掉，并且不是{em>本身 DOM的一部分（无法通过解析器adhoc访问））。
在这种情况下，您可以循环查找找到的注释，并尝试通过正则表达式获取信息（尽管这在Stackoverflow上进行了大量讨论并且大多不喜欢，see here for more information）。最后，但并非最不重要的是，我建议requests而不是urllib2。

话虽如此，这是一个有效的代码示例：

from bs4 import BeautifulSoup, Comment
import requests, re

def make_soup(url):
    r = requests.get(url)
    soupdata = BeautifulSoup(r.text, 'lxml')
    return soupdata

soup = make_soup("http://www.pro-football-reference.com/years/2015/")

# get the comments
comments = soup.findAll(text=lambda text:isinstance(text, Comment))

# look for table with the id "team_stats"
rx = re.compile(r'<table.+?id="team_stats".+?>[\s\S]+?</table>')
for comment in comments:
    try:
        table = rx.search(comment.string).group(0)
        print(table)
        # break the loop if found
        break
    except:
        pass

始终赞成解析器解决方案，特别是正则表达式部分非常容易出错。

Answer 2

在传递给bs4之前，只需删除 re.sub 的评论：

from bs4 import BeautifulSoup
import urllib2
import re
comm = re.compile("<!--|-->")
def make_soup(url):
    page = urllib2.urlopen(url)
    soupdata = BeautifulSoup(comm.sub("", page.read()), 'lxml')
    return soupdata

def get_player_totals():
    soup = make_soup("http://www.pro-football-reference.com/years/2015/")

    tableStats = soup.find('table', {'id':'team_stats'})

    return tableStats

print get_player_totals()

运行代码时，您将看到该表。

BeautifulSoup webscraper问题：找不到某些div / tables

2 个答案: