grep 200 GB Sql文件

时间:2017-06-28 14:52:49

标签: file grep

我们有大约200 GB .sql文件,我们正在为一些表格打算大约需要1个半小时,因为有什么方法可以减少时间吗?过滤某些表的任何其他有效方法?任何帮助将不胜感激

1 个答案:

答案 0 :(得分:1)

GNU并行程序可以将输入拆分为多个子进程,每个子进程将在输入的每个相应部分上运行grep。通过使用多个进程(可能你有足够的CPU核心来应用于这项工作),它可以通过并行运行来更快地完成。

cat 200-gb-table.sql | parallel --pipe grep '<pattern>'

但是如果您需要知道模式发生位置的上下文(例如输入的行号),这可能不是您所需要的。