我有大约400'000个文件需要替换一些文本。
我尝试了以下Perl脚本:
@files = <*.html>;
foreach $file (@files) {
`perl -0777 -i -pe 's{<div[^>]+?id="user-info"[^>]*>.*?</div>}{}gsmi;' $file`;
`perl -0777 -i -pe 's{<div[^>]+?class="generic"[^>]*>[^\s]*<small>[^\s]*Author.*?</div>.*?</div>.*?</div>.*?</div>.*?</div>}{}gsmi;' $file`;
`perl -0777 -i -pe 's{<script[^>]+?src="javascript.*?"[^>]*>.*?</script>}{}gsmi;' $file`;
`perl -p -i -e 's/.css.html/.css/g;' $file`;
}
我没有深入的Perl知识,但脚本运行速度太慢(每天只更新大约180个文件)。
有没有办法加快速度?
提前谢谢!
PS:当我在较少数量的文件上测试时,我注意到了更好的性能......
答案 0 :(得分:8)
从perl调用perl总是比在一个进程中完成所有工作要慢。所以,解决方案可能是
perl -i -pe 'BEGIN { undef $/ }
s{<div[^>]+?id="user-info"[^>]*>.*?</div>}{}gsmi;
s{<div[^>]+?class="generic"[^>]*>[^\s]*<small>[^\s]*Author.*?</div>.*?</div>.*?</div>.*?</div>.*?</div>}{}gsmi;
s{<script[^>]+?src="javascript.*?"[^>]*>.*?</script>}{}gsmi;
s/.css.html/.css/g;
' *.html
答案 1 :(得分:7)
首先,如果你将400,000个文件名加载到内存中,它会吸收一些内存。您可以轻松地遍历文件列表,例如:
File::Find
opendir
+ while (readdir($dh))
(不加载整个列表)其次,使用反引号会在shell中产生一个新进程,并且它非常无效。您可以正常打开文件,啜饮它们,然后重新打印到相同的文件名。 E.g。
while (my $file = readdir($dh)) {
open my $fh, "<", $file or die $!;
local $/;
my $text = <$fh>; # slurp file
$text =~ s/....//g; # do your substitutions
open $fh, ">", $file or die $!;
print $fh $text; # overwrite file, same as -i switch does
}
最后..使用正则表达式编辑html并不理想。它可能适用于您的情况,但是花一些时间学习一个HTML解析器可能是值得的。不确定这种特殊情况的适用程度,但可能值得研究,以使代码更稳定。