Question

我尝试使用lxml.etree来解析XML文件并在XML元素中查找文本。

XML文件可以是这样的：

<?xml version="1.0" encoding="UTF-8"?>
<OAI-PMH xmlns="http://www.openarchives.org/OAI/2.0/" 
     xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
     xsi:schemaLocation="http://www.openarchives.org/OAI/2.0/
     http://www.openarchives.org/OAI/2.0/OAI-PMH.xsd">
 <responseDate>2002-06-01T19:20:30Z</responseDate> 
 <request verb="ListRecords" from="1998-01-15"
      set="physics:hep"
      metadataPrefix="oai_rfc1807">
      http://an.oa.org/OAI-script</request>
 <ListRecords>
  <record>
    <header>
      <identifier>oai:arXiv.org:hep-th/9901001</identifier>
      <datestamp>1999-12-25</datestamp>
      <setSpec>physics:hep</setSpec>
      <setSpec>math</setSpec>
    </header>
    <metadata>
     <rfc1807 xmlns=
    "http://info.internet.isi.edu:80/in-notes/rfc/files/rfc1807.txt" 
      xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" 
      xsi:schemaLocation=
       "http://info.internet.isi.edu:80/in-notes/rfc/files/rfc1807.txt
    http://www.openarchives.org/OAI/1.1/rfc1807.xsd">
    <bib-version>v2</bib-version>
    <id>hep-th/9901001</id>
    <entry>January 1, 1999</entry>
    <title>Investigations of Radioactivity</title>
    <author>Ernest Rutherford</author>
    <date>March 30, 1999</date>
     </rfc1807>
    </metadata>
    <about>
      <oai_dc:dc 
      xmlns:oai_dc="http://www.openarchives.org/OAI/2.0/oai_dc/" 
      xmlns:dc="http://purl.org/dc/elements/1.1/" 
      xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" 
      xsi:schemaLocation="http://www.openarchives.org/OAI/2.0/oai_dc/ 
      http://www.openarchives.org/OAI/2.0/oai_dc.xsd">
    <dc:publisher>Los Alamos arXiv</dc:publisher>
    <dc:rights>Metadata may be used without restrictions as long as 
       the oai identifier remains attached to it.</dc:rights>
      </oai_dc:dc>
    </about>
  </record>
  <record>
    <header status="deleted">
      <identifier>oai:arXiv.org:hep-th/9901007</identifier>
      <datestamp>1999-12-21</datestamp>
    </header>
  </record>
 </ListRecords>
</OAI-PMH>

对于以下部分，我们假设doc = etree.parse("/tmp/test.xml")其中text.xml包含上面粘贴的xml。

首先，我尝试使用<record>找到所有doc.findall(".//record")元素，但它返回一个空列表。

其次，对于给定的单词，我想检查它是否在<dc:publisher>中。为了达到这个目的，我首先尝试做同样的事情：doc.findall(".//publisher")但是我有同样的问题......我很确定所有这些都与命名空间有关但我不知道如何处理它们

我已经阅读了libxml tutorial，并在一个基本的xml文件（没有任何名称空间）上尝试了findall方法的示例，然后就可以了。

Answer 1

免责声明：我使用的是标准库xml.etree.ElementTree模块，而不是lxml库（据我所知，这是lxml的一个子集）。我确信有一个比我更简单的答案，它使用lxml和XPATH，但我不知道。

名称空间问题

你说这个问题很可能就是名称空间。 XML文件中没有record个元素，但文件中有两个{http://www.openarchives.org/OAI/2.0/}record个标记。如下所示：

>>> import xml.etree.ElementTree as etree

>>> xml_string = ...Your XML to parse...
>>> e = etree.fromstring(xml_string)

# Let's see what the root element is
>>> e
<Element {http://www.openarchives.org/OAI/2.0/}OAI-PMH at 7f39ebf54f80>

# Let's see what children there are of the root element
>>> for child in e:
...     print child
...
<Element {http://www.openarchives.org/OAI/2.0/}responseDate at 7f39ebf54fc8>
<Element {http://www.openarchives.org/OAI/2.0/}request at 7f39ebf58050>
<Element {http://www.openarchives.org/OAI/2.0/}ListRecords at 7f39ebf58098>

# Finally, let's get the children of the `ListRecords` element
>>> for child in e[-1]:
...     print child
... 
<Element {http://www.openarchives.org/OAI/2.0/}record at 7f39ebf580e0>
<Element {http://www.openarchives.org/OAI/2.0/}record at 7f39ebf58908>

所以，例如

>>> e.find('ListRecords')

返回None，而

>>> e.find('{http://www.openarchives.org/OAI/2.0/}ListRecords'
<Element {http://www.openarchives.org/OAI/2.0/}ListRecords at 7f39ebf58098>

返回ListRecords元素。

请注意，我使用find方法，因为标准库ElementTree没有xpath方法。

可能的解决方案

解决此问题并获取命名空间前缀并将其添加到您要查找的标记之前的一种方法。你可以使用

>>>> e.tag[:e.tag.index('}')+1]
'{http://www.openarchives.org/OAI/2.0/}'

在根元素e上找到命名空间，虽然我确信有更好的方法可以做到这一点。

现在我们可以定义函数来提取我们想要的可选命名空间前缀的标记：

def findallNS(element, tag, namespace=None):

    if namspace is not None:
        return element.findall(namepsace+tag)
    else:
        return element.findall(tag)

def findNS(element, tag, namespace=None):

    if namspace is not None:
        return element.find(namepsace+tag)
    else:
        return element.find(tag)

现在我们可以写：

>>> list_records = findNS(e, 'ListRecords', namespace)
>>> findallNS(list_records, 'record', namespace)
[<Element {http://www.openarchives.org/OAI/2.0/}record at 7f39ebf580e0>, 
<Element {http://www.openarchives.org/OAI/2.0/}record at 7f39ebf58908>]

替代解决方案

另一种解决方案可能是编写一个函数来搜索以您感兴趣的标签结尾的所有标签，例如：

def find_child_tags(element, tag):
    return [child for child in element if child.tag.endswith(tag)]

在这里，您根本不需要处理命名空间。

Answer 2

正如Chris已经提到的，你也可以使用lxml和xpath。由于xpath不允许您像{http://www.openarchives.org/OAI/2.0/}record那样完整地编写命名空间名称（所谓的“James Clark表示法”*），因此您必须使用前缀，并为xpath引擎提供前缀到 - namespace-uri mapping。

使用lxml的示例（假设您已经拥有所需的tree对象）：

nsmap = {'oa':'http://www.openarchives.org/OAI/2.0/', 
         'dc':'http://purl.org/dc/elements/1.1/'}
tree.xpath('//oa:record[descendant::dc:publisher[contains(., "Alamos")]]',
            namespaces=nsmap)

这将选择所有{http://www.openarchives.org/OAI/2.0/}record元素，这些元素的后代元素{http://purl.org/dc/elements/1.1/}dc包含单词“Alamos”。

[*]这来自article，其中James Clark解释XML命名空间，不熟悉命名空间的每个人都应该读这个！（即使它是很久以前写的）

Answer 3

@Chris答案非常好，它也适用于lxml。以下是使用lxml的另一种方式（与xpath的工作方式相同，而不是find）：

In [37]: xml.find('.//n:record', namespaces={'n': 'http://www.openarchives.org/OAI/2.0/'})
Out[37]: <Element {http://www.openarchives.org/OAI/2.0/}record at 0x2a451e0>

使用lxml.etree将文本发现到命名空间的xml元素中

3 个答案:

名称空间问题

可能的解决方案

替代解决方案