Question

我有一个巨大的xml文件（当前wikipedia dump）。这个大小约为45 GB的xml代表当前维基百科的整个数据。该文件的前几行是（输出更多）：

    <mediawiki xmlns="http://www.mediawiki.org/xml/export-0.8/" xmlns:xsi="http://ww
    w.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="http://www.mediawiki.org/x
    ml/export-0.8/ http://www.mediawiki.org/xml/export-0.8.xsd" version="0.8" xml:la
    ng="en">
      <siteinfo>
        <sitename>Wikipedia</sitename>
        <base>http://en.wikipedia.org/wiki/Main_Page</base>
        <generator>MediaWiki 1.21wmf6</generator>
        <case>first-letter</case>
        <namespaces>
          <namespace key="-2" case="first-letter">Media</namespace>
          <namespace key="-1" case="first-letter">Special</namespace>
          <namespace key="0" case="first-letter" />
          <namespace key="1" case="first-letter">Talk</namespace>
          <namespace key="2" case="first-letter">User</namespace>
          <namespace key="3" case="first-letter">User talk</namespace>
          <namespace key="4" case="first-letter">Wikipedia</namespace>
          <namespace key="5" case="first-letter">Wikipedia talk</namespace>
          <namespace key="6" case="first-letter">File</namespace>
          <namespace key="7" case="first-letter">File talk</namespace>
          <namespace key="8" case="first-letter">MediaWiki</namespace>
          <namespace key="9" case="first-letter">MediaWiki talk</namespace>
          <namespace key="10" case="first-letter">Template</namespace>
          <namespace key="11" case="first-letter">Template talk</namespace>
          <namespace key="12" case="first-letter">Help</namespace>
          <namespace key="13" case="first-letter">Help talk</namespace>
          <namespace key="14" case="first-letter">Category</namespace>
          <namespace key="15" case="first-letter">Category talk</namespace>
          <namespace key="100" case="first-letter">Portal</namespace>
          <namespace key="101" case="first-letter">Portal talk</namespace>
          <namespace key="108" case="first-letter">Book</namespace>
          <namespace key="109" case="first-letter">Book talk</namespace>
          <namespace key="446" case="first-letter">Education Program</namespace>
          <namespace key="447" case="first-letter">Education Program talk</namespace
    >
          <namespace key="710" case="first-letter">TimedText</namespace>
          <namespace key="711" case="first-letter">TimedText talk</namespace>
        </namespaces>
      </siteinfo>
      <page>
        <title>AccessibleComputing</title>
        <ns>0</ns>
        <id>10</id>
        <redirect title="Computer accessibility" />
        <revision>
          <id>381202555</id>
          <parentid>381200179</parentid>
          <timestamp>2010-08-26T22:38:36Z</timestamp>
          <contributor>
            <username>OlEnglish</username>
            <id>7181920</id>
          </contributor>
          <minor />
          <comment>[[Help:Reverting|Reverted]] edits by [[Special:Contributions/76.2
    8.186.133|76.28.186.133]] ([[User talk:76.28.186.133|talk]]) to last version by 
    Gurch</comment>
          <text xml:space="preserve">#REDIRECT [[Computer accessibility]] {{R from C
    amelCase}}</text>
          <sha1>lo15ponaybcg2sf49sstw9gdjmdetnk</sha1>
          <model>wikitext</model>

......等等

注意树中的页面元素。它对应于维基百科中的唯一页面。给定的XML由页面元素形式的维基百科的所有页面组成。我需要编写一个解析器，我需要从页面中为维基百科的所有页面提取标题条目的值，并假设（为简单起见）打印它们。

我正在尝试使用Python构建相同的内容（尽管如果能提供解决方案，我仍然可以使用语言切换）。我所知道的唯一方法是使用ElementTree。

但是，使用函数解析（＆＃39; file.xml＆＃39;）需要首先完整地解析整个文档，然后输出任何结果。很明显，我知道整个xml由页面元素组成。我希望程序开始打印标题，而它正在解析xml的其余部分。这甚至是可能的。如果是这样，怎么样？

编辑注：我引用了一个在这里提取标题的例子，以便在问题中保持简单。但是，我确实需要xml解析功能，因为我需要在将来提取相同的内容。

Answer 1

你想要的是一个基于事件的XML库，它在逐步解析时向你发送片段，而不是为整个文档创建一个树。典型的答案是xml.sax stdlib module，但我确信还有很多其他答案。

Answer 2

我没有尝试使用这么大的数据集，但我发现lxml module快速有用。

lxml.etree教程here提供了一个可能具有指导意义的示例。

关键段落是：

iterparse（）的一个非常重要的用例是解析大型生成的XML文件，例如：数据库转储。通常，这些XML格式只有一个主数据项元素，它直接挂在根节点下面，并且重复数千次。在这种情况下，最好让lxml.etree进行树构建，并且只使用普通树API进行数据提取，只对这一个元素进行精确拦截。

Answer 3

当然，这是可能的。以丑陋的方式，您可以在文本模式下按行读取文件。然后使用正则表达式或只是简单的字符串搜索方法（关键字as和）作为过滤器来获取

形式的行

<title>AccessibleComputing</title>

然后，你可以获得标题，并做你想做的事。

如何使用Python解析一个巨大的xml文件（在旅途中）

3 个答案: