Question

我有一个非常大的列分隔文件来自数据库报告，如下所示：

field1,field2,field3,metricA,value1
field1,field2,field3,metricB,value2

我希望新文件具有这样的组合线，所以它看起来像这样：

field1,field2,field3,value1,value2

我可以使用哈希来做到这一点。在此示例中，前三个字段是键，我将value1和value按特定顺序组合为值。在我读完文件后，我只是将哈希表的键和值打印到另一个文件中。工作正常。

然而，由于我的文件非常庞大，我有一些顾虑。每个文件大约8 GB。

有没有更有效的方法呢？我不是在考虑速度，而是在内存占用方面。我担心这个过程会因内存问题而死亡。我只是在一个可行的解决方案上留下空白，但不会把所有东西都推到最后，最终是一个非常大的哈希。

对于完全公开，我在Windows上使用ActiveState Perl。

Answer 1

如果您的行按键排序，或者由于某些其他原因，field1，field2，field3的相等值相邻，则状态机将更快。只需读取这些行，如果字段与前一行相同，则发出两个值。

否则，至少，您可以利用这样一个事实：您有两个值，并在找到第二个值时从哈希中删除密钥 - 这应该会大大限制您的内存使用量。

Answer 2

如果您有其他类似Unix的工具（例如通过cygwin），那么您可以使用 sort 命令（可以处理大文件）预先对文件进行排序。或者可能你可以让数据库输出排序的格式。

一旦文件被排序，那么进行这种合并就很容易 - 一次迭代一行，将最后一行和下一行保持在内存中，并在键改变时输出。

Answer 3

如果您认为数据不适合内存，则可以随时绑定您对磁盘数据库的哈希：

use BerkeleyDB;
tie my %data, 'BerkeleyDB::Hash', -Filename => 'data';

while(my $line = <>){
    chomp $line;
    my @columns = split /,/, $line; # or use Text::CSV_XS to parse this correctly

    my $key = join ',', @columns[0..2];
    my $a_key = "$key:metric_a";
    my $b_key = "$key:metric_b";

    if($columns[3] eq 'A'){
        $data{$a_key} = $columns[4];
    }
    elsif($columns[3] eq 'B'){
        $data{$b_key} = $columns[4];
    }

    if(exists $data{$a_key} && exists $data{$b_key}){
        my ($a, $b) = map { $data{$_} } ($a_key, $b_key);
        print "$key,$a,$b\n";
        # optionally delete the data here, if you don't plan to reuse the database
    }
}

Answer 4

将另一个直接从数据库导出到新文件中而不是重新处理已输出的文件会不会更好。如果这是一个选项，那么我会走那条路。

Answer 5

您可以尝试使用Sort::External。它让我想起了一个可以在程序逻辑中使用的大型机类型。它对我用过它的效果非常好。

如何合并大型未分类文件中的行而不会耗尽Perl中的内存？

5 个答案: