我必须将一个 1.8Tb 的大文本文件一分为二(我只需要文件的后半部分)。该文件以 \n
作为记录分隔符。
我试过了
perl -ne 'print if $. >= $line_to_start_from' test.txt > result.txt
在一个小得多的 115Mb 测试文件上,它完成了工作,但耗时 22 秒。
将这个解决方案用于 1.8Tb 的文件将花费不合理的长时间,所以我的问题是 Perl 中是否有一种方法可以在不循环的情况下拆分大文件?
答案 0 :(得分:4)
默认情况下,perl 一次读取文件输入一行。如果您的文件包含大量相对较短的行(我假设确实如此),perl 将比 split
这样的实用程序慢得多,后者一次从文件中读取更大的块。
为了测试,我创建了一个约 200MB 的文件,行很短:
$ perl -e 'print "123\n" for( 1 .. 50_000_000 );' >file_to_split
split
可以相当合理地处理它:
$ time split --lines=25000000 file_to_split half
real 0m1.266s
user 0m0.314s
sys 0m0.213s
而且朴素的 perl 方法要慢得多:
$ time perl -ne 'print if $. > 25_000_000' file_to_split >second_half
real 0m10.474s
user 0m10.257s
sys 0m0.222s
但是您可以使用 $/
特殊变量使 perl 一次读取多于一行。例如一次 16 kb 的数据:
my $CHUNK_SIZE = 16 * 1024;
my $SPLIT_AT_LINE = 25_000_000;
{
local $/ = \$CHUNK_SIZE;
my $lineNumber = 0;
while ( <> ) {
if ( $lineNumber > $SPLIT_AT_LINE ) {
# everything from here on is in the second half
print $_;
}
else {
my $count = $_ =~ tr/\n/\n/;
$lineNumber += $count;
if ( $lineNumber > $SPLIT_AT_LINE ) {
# we went past the split, get some of the lines from this buffer
my $extra = $lineNumber - $SPLIT_AT_LINE;
my @lines = split m/\n/, $_, $count - $extra + 1;
print $lines[ -1 ];
}
}
}
}
如果您不关心将拆分超出几行,您可以使此代码更简单。这让 perl 在合理的时间内完成相同的操作:
$ time perl test.pl file_to_split >second_half
real 0m0.678s
user 0m0.095s
sys 0m0.297s