XML文件是这样的:
<?xml version="1.0" encoding="UTF-8"?>
<resource-data xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:noNamespaceSchemaLocation="resource-data.xsd">
<class name="AP">
<attributes>
<resourceId>00 11 B5 1B 6D 20</resourceId>
<lastModifyTime>20130107091545</lastModifyTime>
<dcTime>20130107093019</dcTime>
<attribute name="NMS_ID" value="DNMS" />
<attribute name="IP_ADDR" value="10.11.141.111" />
<attribute name="LABEL_DEV" value="00 11 B5 1B 6D 20" />
</attributes>
<attributes>
<resourceId>00 11 B5 1B 6D 21</resourceId>
<lastModifyTime>20130107091546</lastModifyTime>
<dcTime>20130107093019</dcTime>
<attribute name="NMS_ID" value="DNMS" />
<attribute name="IP_ADDR" value="10.11.141.112" />
<attribute name="LABEL_DEV" value="00 11 B5 1B 6D 21" />
</attributes>
</class>
</resource-data>
我的代码:
#!/usr/bin/perl
use Encode;
use XML::LibXML;
use Data::Dumper;
$parser = new XML::LibXML;
$struct = $parser->parse_file("d:/AP_201301073100_1.xml");
my $file_data = "d:\\ap.txt";
open IN, ">$file_data";
$rootel = $struct->getDocumentElement();
$elname = $rootel->getName();
@kids = $rootel->getElementsByTagName('attributes');
foreach $child (@kids) {
@atts = $child->getElementsByTagName('attribute');
foreach $at (@atts) {
$va = $at->getAttribute('value');
print IN encode("gbk", "$va\t");
}
print IN encode("gbk", "\n");
}
close(IN);
我的问题是,如果XML文件只有80MB,那么程序将非常快,但是当XML文件大得多时,程序可能会非常慢。有人可以帮助我加快速度吗?
答案 0 :(得分:6)
使用XML::Twig
将允许您处理解析过程中遇到的每个<attributes>
元素,然后丢弃不再需要的XML数据。
这个程序似乎可以满足您的需求。
use strict;
use warnings;
use XML::Twig;
use Encode;
use constant XML_FILE => 'S:/AP_201301073100_1.xml';
use constant OUT_FILE => 'D:/ap.txt';
open my $outfh, '>:encoding(gbk)', OUT_FILE or die $!;
my $twig = XML::Twig->new(twig_handlers => {attributes => \&attributes});
$twig->parsefile('myxml.xml');
sub attributes {
my ($twig, $atts) = @_;
my @values = map $_->att('value'), $atts->children('attribute');
print $outfh join("\t", @values), "\n";
$twig->purge;
}
<强>输出强>
DNMS 10.11.141.111 00 11 B5 1B 6D 20
DNMS 10.11.141.112 00 11 B5 1B 6D 21
答案 1 :(得分:4)
另一种可能性是使用XML::LibXML::Reader。它与SAX类似,但使用与XML :: LibXML相同的libxml
库:
#!/usr/bin/perl
use warnings;
use strict;
use XML::LibXML::Reader;
my $reader = XML::LibXML::Reader->new(location => '1.xml');
open my $OUT, '>:encoding(gbk)', '1.out';
while ($reader->read) {
attr($reader) if 'attributes' eq $reader->name
and XML_READER_TYPE_ELEMENT == $reader->nodeType;
}
sub attr {
my $reader = shift;
my @kids;
ATTRIBUTE:
while ($reader->read) {
my $name = $reader->name;
last ATTRIBUTE if 'attributes' eq $name;
next ATTRIBUTE if XML_READER_TYPE_END_ELEMENT == $reader->nodeType;
push @kids, $reader->getAttribute('value')
if 'attribute' eq $name;
}
print {$OUT} join("\t", @kids), "\n";
}
答案 2 :(得分:0)
如果您拥有这么大的XML文件--80MB +,则无法将整个文件解析到内存中 - 首先,它非常慢,其次,它最终会耗尽内存并且程序将崩溃。
我建议使用XML::Twig并使用回调重写代码。
答案 3 :(得分:0)
对于大型XML文件,您必须使用基于流的解析器,如XML::SAX
,因为DOM解析器在内存中构建整个XML结构。
答案 4 :(得分:0)
使用XML::Rules的另一种方式:
use strict;
use warnings;
use XML::Rules;
use Data::Dumper;
my @rules = (
attribute => [ attributes => sub { print "$_[1]{value}\n"; return } ],
_default => undef,
);
my $xr = XML::Rules->new( rules => \@rules );
my $data = $xr->parse($xml);