Question

我使用XML::Twig来解析一个非常大的XML文档。我想根据<change></change>标签将其拆分为块。

现在我有：

my $xml = XML::Twig->new(twig_handlers => { 'change' => \&parseChange, });
$xml->parsefile($LOGFILE);

sub parseChange {

  my ($xml, $change) = @_;

  my $message = $change->first_child('message');
  my @lines   = $message->children_text('line');

  foreach (@lines) {
    if ($_ =~ /[^a-zA-Z0-9](?i)bug(?-i)[^a-zA-Z0-9]/) {
      print outputData "$_\n";
    }
  }

  outputData->flush();
  $change->purge;
}

现在，当它从XML中提取该块时，它正在运行parseChange方法。它变得非常缓慢。我测试它是为了从带有$/=</change>的文件中读取XML并编写一个函数来返回XML标记的内容，它的速度要快得多。

是否有我遗漏的内容或我错误地使用XML::Twig？我是Perl的新手。

编辑：以下是更改文件的示例更改。该文件由很多这些文件一个接一个地组成，它们之间不应该有任何东西：

<change>
<project>device_common</project>
<commit_hash>523e077fb8fe899680c33539155d935e0624e40a</commit_hash>
<tree_hash>598e7a1bd070f33b1f1f8c926047edde055094cf</tree_hash>      
<parent_hashes>71b1f9be815b72f925e66e866cb7afe9c5cd3239</parent_hashes>      
<author_name>Jean-Baptiste Queru</author_name>      
<author_e-mail>jbq@google.com</author_e-mail>      
<author_date>Fri Apr 22 08:32:04 2011 -0700</author_date>      
<commiter_name>Jean-Baptiste Queru</commiter_name>      
<commiter_email>jbq@google.com</commiter_email>      
<committer_date>Fri Apr 22 08:32:04 2011 -0700</committer_date>      
<subject>chmod the output scripts</subject>      
<message>         
    <line>Change-Id: Iae22c67066ba4160071aa2b30a5a1052b00a9d7f</line>      
</message>      
<target>         
    <line>generate-blob-scripts.sh</line>      
</target>   
</change>

Answer 1

目前，您的程序正在处理XML文档的所有，包括您不感兴趣的change元素之外的数据。

如果将构造函数中的twig_handlers参数更改为twig_roots，则将仅为感兴趣的元素构建树结构，其余部分将被忽略。

my $xml = XML::Twig->new(twig_roots => { change => \&parseChange });

Answer 2

XML::Twig包含一种机制，您可以根据这种机制处理标记，然后丢弃不再需要释放内存的内容。

以下是来自the documentation的示例（其中还有更多有用的信息）：

my $t= XML::Twig->new( twig_handlers => 
                          { section => \&section,
                            para   => sub { $_->set_tag( 'p'); }
                          },
                       );
  $t->parsefile( 'doc.xml');

  # the handler is called once a section is completely parsed, ie when 
  # the end tag for section is found, it receives the twig itself and
  # the element (including all its sub-elements) as arguments
  sub section 
    { my( $t, $section)= @_;      # arguments for all twig_handlers
      $section->set_tag( 'div');  # change the tag name.4, my favourite method...
      # let's use the attribute nb as a prefix to the title
      my $title= $section->first_child( 'title'); # find the title
      my $nb= $title->att( 'nb'); # get the attribute
      $title->prefix( "$nb - ");  # easy isn't it?
      $section->flush;            # outputs the section and frees memory
    }

使用多GB文件时，这可能是必不可少的，因为（再次，根据文档）将整个内容存储在内存中的时间可能是文件大小的10倍。

修改：基于您编辑过的问题的几条评论。在不了解您的文件结构的情况下，目前尚不清楚究竟是什么让您失望，但这里有几件事要尝试：

如果您要编写大量行，则刷新输出文件句柄会降低速度。 Perl专门出于性能原因缓存文件写入，你绕过了它。
不是使用(?i)机制，而是一个相当高级的功能，可能会有性能损失，为什么不让整个匹配大小写不敏感？ /[^a-z0-9]bug[^a-z0-9]/i是等价的。您也可以使用/\bbug\b/i来简化它，接近等效，唯一的区别是下划线包含在非匹配类中。
除了中间步骤之外，还可以进行其他一些简化。

此处理程序代码如何与您的速度相比？

sub parseChange
{
    my ($xml, $change) = @_;

    foreach(grep /[^a-z0-9]bug[^a-z0-9]/i, $change->first_child_text('message'))
    {
        print outputData "$_\n";
    }

    $change->purge;
}

Answer 3

如果您的XML非常大，请使用XML::SAX。它不必将整个数据集加载到内存中;相反，它会顺序加载文件并为每个标记生成回调事件。我成功地使用XML :: SAX来解析大小超过1GB的XML。以下是数据的XML :: SAX处理程序示例：

#!/usr/bin/env perl
package Change::Extractor;
use 5.010;
use strict;
use warnings qw(all);

use base qw(XML::SAX::Base);

sub new {
    bless { data => '', path => [] }, shift;
}

sub start_element {
    my ($self, $el) = @_;
    $self->{data} = '';
    push @{$self->{path}} => $el->{Name};
}

sub end_element {
    my ($self, $el) = @_;
    if ($self->{path} ~~ [qw[change message line]]) {
        say $self->{data};
    }
    pop @{$self->{path}};
}

sub characters {
    my ($self, $data) = @_;
    $self->{data} .= $data->{Data};
}

1;

package main;
use strict;
use warnings qw(all);

use XML::SAX::PurePerl;

my $handler = Change::Extractor->new;
my $parser = XML::SAX::PurePerl->new(Handler => $handler);

$parser->parse_file(\*DATA);

__DATA__
<?xml version="1.0"?>
<change>
  <project>device_common</project>
  <commit_hash>523e077fb8fe899680c33539155d935e0624e40a</commit_hash>
  <tree_hash>598e7a1bd070f33b1f1f8c926047edde055094cf</tree_hash>
  <parent_hashes>71b1f9be815b72f925e66e866cb7afe9c5cd3239</parent_hashes>
  <author_name>Jean-Baptiste Queru</author_name>
  <author_e-mail>jbq@google.com</author_e-mail>
  <author_date>Fri Apr 22 08:32:04 2011 -0700</author_date>
  <commiter_name>Jean-Baptiste Queru</commiter_name>
  <commiter_email>jbq@google.com</commiter_email>
  <committer_date>Fri Apr 22 08:32:04 2011 -0700</committer_date>
  <subject>chmod the output scripts</subject>
  <message>
    <line>Change-Id: Iae22c67066ba4160071aa2b30a5a1052b00a9d7f</line>
  </message>
  <target>
    <line>generate-blob-scripts.sh</line>
  </target>
</change>

输出

Change-Id: Iae22c67066ba4160071aa2b30a5a1052b00a9d7f

Answer 4

不是XML :: Twig的答案，但是......

如果要从xml文件中提取内容，可能需要考虑XSLT。使用xsltproc和下面的XSL样式表，我在大约一分钟内从<change>的1Gb中获得了包含错误的更改行。我很有可能进行大量改进。

<?xml version="1.0"?>
<xsl:stylesheet xmlns:xsl="http://www.w3.org/1999/XSL/Transform" version="1.0" >

  <xsl:output method="text"/>
  <xsl:variable name="lowercase" select="'abcdefghijklmnopqrstuvwxyz'" />
  <xsl:variable name="uppercase" select="'ABCDEFGHIJKLMNOPQRSTUVWXYZ'" />

  <xsl:template match="/">
    <xsl:apply-templates select="changes/change/message/line"/>
  </xsl:template>

  <xsl:template match="line">
    <xsl:variable name="lower" select="translate(.,$uppercase,$lowercase)" />
    <xsl:if test="contains($lower,'bug')">
      <xsl:value-of select="."/>
      <xsl:text>
</xsl:text>
    </xsl:if>
  </xsl:template>
</xsl:stylesheet>

如果您的XML处理可以完成

提取到纯文本
争吵扁平的文字
利润

然后XSLT可能是该过程第一步的工具。

Answer 5

我非常长时间地玩耍。

    my $twig=XML::Twig->new
  (
twig_handlers =>
   {
    SchoolInfo => \&schoolinfo,
   },
   pretty_print => 'indented',
  );

$twig->parsefile( 'data/SchoolInfos.2018-04-17.xml');

sub schoolinfo {
  my( $twig, $l)= @_;
  my $rec = {
                 name   => $l->field('SchoolName'),
                 refid  => $l->{'att'}->{RefId},
                 phone  => $l->field('SchoolPhoneNumber'),
                };

  for my $node ( $l->findnodes( '//Street' ) )    { $rec->{street} = $node->text; }
  for my $node ( $l->findnodes( '//Town' ) )      { $rec->{city} = $node->text; }
  for my $node ( $l->findnodes( '//PostCode' ) )  { $rec->{postcode} = $node->text; }
  for my $node ( $l->findnodes( '//Latitude' ) )  { $rec->{lat} = $node->text; }
  for my $node ( $l->findnodes( '//Longitude' ) ) { $rec->{lng} = $node->text; }     
}

是漂亮的印记吗？否则它非常简单。

我怎样才能加速XML :: Twig

5 个答案: