在shell脚本或Perl中更快地替代egrep

Question

$logFile的大小为20GB

$RAW_FILTER=pattern1|pattern2|pattern3|pattern4|pattern5|....upto Pattern M
$RAW_FILTER1=pattern6|pattern7|pattern8|pattern9|pattern10|...upto Pattern N

我的代码如下所示：

cat $logFile | egrep "$RAW_FILTER" >> $filesNeedToCheck &
cat $logFile | egrep "$RAW_FILTER1" >> $filesNeedToCheck &

等待

还有其他更快的选择吗？ 任何帮助都非常感谢。

Answer 1

如果它是一个日志文件，也许您可​​以将其拆分为较小的块并在子进程中运行greps？