使用perl XML :: LibXML来如此缓慢地处理XML

时间:2013-01-08 06:55:51

标签: xml perl

XML文件是这样的:

<?xml version="1.0" encoding="UTF-8"?>
<resource-data xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:noNamespaceSchemaLocation="resource-data.xsd">
  <class name="AP">
    <attributes>
      <resourceId>00 11 B5 1B 6D 20</resourceId>
      <lastModifyTime>20130107091545</lastModifyTime>
      <dcTime>20130107093019</dcTime>
      <attribute name="NMS_ID" value="DNMS" />
      <attribute name="IP_ADDR" value="10.11.141.111" />
      <attribute name="LABEL_DEV" value="00 11 B5 1B 6D 20" />
    </attributes>
        <attributes>
      <resourceId>00 11 B5 1B 6D 21</resourceId>
      <lastModifyTime>20130107091546</lastModifyTime>
      <dcTime>20130107093019</dcTime>
      <attribute name="NMS_ID" value="DNMS" />
      <attribute name="IP_ADDR" value="10.11.141.112" />
      <attribute name="LABEL_DEV" value="00 11 B5 1B 6D 21" />
    </attributes>
  </class>
</resource-data>

我的代码:

#!/usr/bin/perl

use Encode;
use XML::LibXML;
use Data::Dumper;

$parser = new XML::LibXML;
$struct = $parser->parse_file("d:/AP_201301073100_1.xml");

my $file_data = "d:\\ap.txt";
open IN, ">$file_data";

$rootel = $struct->getDocumentElement();
$elname = $rootel->getName();

@kids   = $rootel->getElementsByTagName('attributes');
foreach $child (@kids) {
  @atts = $child->getElementsByTagName('attribute');
  foreach $at (@atts) {
    $va = $at->getAttribute('value');
    print IN encode("gbk", "$va\t");
  }
  print IN encode("gbk", "\n");
}
close(IN);

我的问题是,如果XML文件只有80MB,那么程序将非常快,但是当XML文件大得多时,程序可能会非常慢。有人可以帮助我加快速度吗?

5 个答案:

答案 0 :(得分:6)

使用XML::Twig将允许您处理解析过程中遇到的每个<attributes>元素,然后丢弃不再需要的XML数据。

这个程序似乎可以满足您的需求。

use strict;
use warnings;

use XML::Twig;
use Encode;

use constant XML_FILE => 'S:/AP_201301073100_1.xml';
use constant OUT_FILE => 'D:/ap.txt';

open my $outfh, '>:encoding(gbk)', OUT_FILE or die $!;

my $twig = XML::Twig->new(twig_handlers => {attributes => \&attributes});
$twig->parsefile('myxml.xml');

sub attributes {
  my ($twig, $atts) = @_;
  my @values = map $_->att('value'), $atts->children('attribute');
  print $outfh join("\t", @values), "\n";
  $twig->purge;
}

<强>输出

DNMS  10.11.141.111 00 11 B5 1B 6D 20
DNMS  10.11.141.112 00 11 B5 1B 6D 21

答案 1 :(得分:4)

另一种可能性是使用XML::LibXML::Reader。它与SAX类似,但使用与XML :: LibXML相同的libxml库:

#!/usr/bin/perl
use warnings;
use strict;

use XML::LibXML::Reader;

my $reader = XML::LibXML::Reader->new(location => '1.xml');

open my $OUT, '>:encoding(gbk)', '1.out';

while ($reader->read) {
    attr($reader) if 'attributes' eq $reader->name
                     and XML_READER_TYPE_ELEMENT == $reader->nodeType;
}

sub attr {
    my $reader = shift;
    my @kids;
  ATTRIBUTE:
    while ($reader->read) {
        my $name = $reader->name;
        last ATTRIBUTE if 'attributes' eq $name;
        next ATTRIBUTE if XML_READER_TYPE_END_ELEMENT == $reader->nodeType;
        push @kids, $reader->getAttribute('value')
            if 'attribute' eq $name;
    }
    print {$OUT} join("\t", @kids), "\n";
}

答案 2 :(得分:0)

如果您拥有这么大的XML文件--80MB +,则无法将整个文件解析到内存中 - 首先,它非常慢,其次,它最终会耗尽内存并且程序将崩溃。

我建议使用XML::Twig并使用回调重写代码。

答案 3 :(得分:0)

对于大型XML文件,您必须使用基于流的解析器,如XML::SAX,因为DOM解析器在内存中构建整个XML结构。

答案 4 :(得分:0)

使用XML::Rules的另一种方式:

use strict;
use warnings;

use XML::Rules;
use Data::Dumper;

my @rules = (
  attribute => [ attributes => sub { print "$_[1]{value}\n"; return } ],
  _default => undef,
);

my $xr = XML::Rules->new( rules => \@rules );
my $data = $xr->parse($xml);