如何管理大量文本文件的搜索

Question

我有大量的IRC日志（~1000个文本文件），以及每天攀爬的日志文件数量。我想构建一个工具，让我有效地搜索文件。

最好的解决方案是从php执行grep命令吗？

我想尽快做到这一点。显然，将数据加载到MYSQL表中会很好，但是当前的日志会不断被写入，这意味着他们需要不断的SQL来同步文本文件中的数据。

Answer 1

如果您愿意学习最有效的技巧。我见过的最佳实践是linux-console bash-script（默认是bash）

使用本机函数查询文件非常容易。

例如; grep在整个文件中搜索字符串。本机功能有很多选项。所有控制台都可以使用正则表达式。查找文件，移动文件，将内容排队等等。

EDIT;

• 如果你有mac。它可以在终端上运行。
• 如果pc，一个带有共享文件夹的虚拟终端，速度慢但可以工作。
• 但最好的只是一个带bash-shell的linux控制台。
• 由于是操作系统，文件操作非常高效。
• 它可以在操作过程中执行phps文件。

Answer 2

如何在您的机器中使用多个CPU核心并使用GNU Parallel并行搜索所有这些核心 - here。

例如：

parallel -n 16 grep -H "some pattern" ::: *.log

将启动并保持并行运行，因为CPU中有核心的grep个grep，每个{{1}}最多可传输16个文件以进行搜索。