grep 200 GB Sql文件

Question

我们有大约200 GB .sql文件，我们正在为一些表格打算大约需要1个半小时，因为有什么方法可以减少时间吗？过滤某些表的任何其他有效方法？任何帮助将不胜感激

Answer 1

GNU并行程序可以将输入拆分为多个子进程，每个子进程将在输入的每个相应部分上运行grep。通过使用多个进程（可能你有足够的CPU核心来应用于这项工作），它可以通过并行运行来更快地完成。

cat 200-gb-table.sql | parallel --pipe grep '<pattern>'

但是如果您需要知道模式发生位置的上下文（例如输入的行号），这可能不是您所需要的。