Question

这很可能是重复的。我已经阅读了许多与表相关的问题 - like this one - 试图了解如何提取更深层嵌套的网页内容。

无论如何这是源代码：

<div class='event-details'>
    <div class='event-content'>
    <p style="text-align:center;">
        <span style="font-size:14px;">
            <span style="color:#800000;">TICKETS: ...<br></span>
        </span>
        <span style="font-size:14px;">
            <span style="color:#800000;">Front-of-House $35 ...<br></span>
        </span>
    </p>
    <p><span style="font-size:14px;">From My Generation ...</span></p>
    <p><span style="font-size:14px;">With note for note ...</span></p>
    <p><span style="font-size:14px;">The Who Show was cast ...</span></p>
    <p><span style="font-size:14px;">With excellent musicianship ...</span></p>
    <p><span style="font-size:14px;">http://www.thewhoshow.com</span></p>
    </div>
</div>

这就是困难的原因：我不希望票据信息在我想要的段落文本之前，而且所有文本在某一点或另一个点之前都有相同的style标签。即：<span style="font-size:14px;">

我希望BS中有一种方法可以获取段落提供的独特功能 - 即p标记紧跟上面的span标记。请参阅：<p><span style="font-size:14px;">

这就是我所做的：

desc_block = newsoup.find('div', {'class','event-details'}).find_all('p')
description = []
for desc in desc_block:
    desc_check = desc.get_text()
description.append(desc_check)
print description[2:]

问题有两个：一，我附加字符（例如\n）和我不想要的信息（票证信息）;两个，我正在追加，因为我真正希望的是提取文本并将其作为utf-8字符串添加到空字符串。任何人都可以帮我解决第一个问题 - 即抓住无关的p标签和我不想要的信息？任何帮助将不胜感激。谢谢。

Answer 1

如果您使用lxml解析文档，则可以使用XPath expressions根据您在树中的位置及其属性，仅选择您关注的元素。

要安装lxml，请执行

easy_install lxml
pip install lxml
在setup.py
或使用任何其他方式安装软件包

（假设您已经安装了BeautifulSoup）

示例

from BeautifulSoup import UnicodeDammit from lxml import html def decode_html(html_string): converted = UnicodeDammit(html_string, isHTML=True) if not converted.unicode: raise UnicodeDecodeError( "Failed to detect encoding, tried [%s]", ', '.join(converted.triedEncodings)) # print converted.originalEncoding return converted.unicode tag_soup = open('mess.html').read() # Use BeautifulSoup's UnicodeDammit to detect and fix the encoding decoded = decode_html(tag_soup) # Use lxml's HTML parser (faster) to parse the document root = html.fromstring(decoded) spans = root.xpath("//span[@style='font-size:14px;']") wanted_spans = spans[2:] blocks = [] for span in wanted_spans: line = span.text.strip().replace('\n', '') blocks.append(line) description = '\n'.join(blocks) print description

此代码使用lxml的快速HTML解析器来解析文档（适用于您提供的代码段），但BeautifulSoup的编码检测首先猜测相应的字符集并解码文档。有关如何将lxml与BeautifulSoup解析器一起使用的更多信息，请参阅lxml docs on BeautifulSoup。

跨度由XPath表达式//span[@style='font-size:14px;']选择，这基本上意味着：文档中任何位置的“任何<span />，其属性style具有精确值{{ 1}}“

如果您想更具体地选择元素，可以使用类似
的表达式
font-size:14px;

仅使用类//div[@class='event-details']//span[@style='font-size:14px;']选择低于div的跨度（某处）。现在，这确实是匹配的精确值 - 如果样式值后面甚至有event-details missig，它将不匹配。 XPath对CSS一无所知，它是遍历XML文档中的元素或属性的通用查询语言。如果您的文档凌乱且您需要考虑到这一点，则需要在XPath表达式中使用;之类的内容。

contains()然后选择除前两个跨度之外的所有跨度，spans[2:]确保我们在文本中没有空格。最后，我加入所有行以形成换行符分隔的描述 - 如果您甚至不想要一个换行符，只需使用strip().replace('\n', '')加入行。

有关XPath语法的详细信息，请参阅XPath Syntax中的W3Schools Xpath Tutorial页面。

要开始使用XPath，在许多XPath testers之一中摆弄文档也非常有用。此外，Firefox的Firebug插件或Google Chrome检查器允许您显示所选元素的（或更确切地说，多个）XPath。

用beautifulsoup提取嵌套项目

1 个答案: