使用XML :: Parser解析大型XML文件时如何查看进度?

时间:2010-07-18 20:36:43

标签: xml perl parsing progress

我正在使用以下代码来解析相当大的xml文件(> 50GB):

use XML::Parser;

my $p = new XML::Parser(
    'Handlers' => {
        'Start' => \&handle_start,
        'End'   => \&handle_end,            
        'Char'  => \&handle_char,
    }
);
$p->parsefile( 'source.xml' );

...

sub handle_start {
    ...
}

问题在于解析需要很长时间,而且我想获得某种进度表。

我更喜欢一种不需要先扫描整个文件才能获得总计数的方法 - 例如,输入文件中的当前位置是完美的,因为我可以简单地检查文件的开始总大小,然后在handle_start()中检查当前位置,并打印出来。

1 个答案:

答案 0 :(得分:7)

您可能正在寻找解析器对象的current_byte方法,该方法在XML::Parser::Expat中有记录。

因此,您可以在开始解析之前将文件的大小保存在全局中:

my $file_size = -s $input_file;

然后在处理程序中计算您的进度,如下所示:

sub handle_start {
    my($parser, $element) = @_;

    my $pos = $parser->current_byte;
    printf("%-20s %5.1f%%\n", $element, $pos * 100 / $file_size);
}