你能推荐一个非结构化的数据索引软件吗？

Question

我正在从几个自定义应用程序中收集日志。每个应用程序都有自己的日志格式。我正在寻找的是一个中央工具，可以让我搜索我的所有日​​志。这意味着该工具必须能够为每个日志文件定义不同的正则表达式（或类似）（标记记录开始，结束和字段的位置）。我一直在尝试使用Splunk，但是我对它不满意，因为性能很慢，我每天的索引数据量有限（免费版），而且它不像我希望的那样灵活。 你能为这项任务推荐一款软件（最好免费或便宜）吗？

Answer 1

您可以尝试Lucene。这是免费的。它是用Java编写的，它允许对大量数据进行全文搜索。它不是一个完整的应用程序，而是一个库，因此您必须编写使用它来编制索引和搜索日志的代码。您可能必须为日志定义不同的文档类型或至少不同的索引功能，但搜索工作非常精彩。

Answer 2

如果您可以使用Windows，请试用Microsoft有史以来最好的工具Logparser。我希望有一个简单的Unix工具。但事实并非如此。虽然我一直想要制作一个Unix版本的Logparser，但我还没有时间。

注意：对于那些有时间的人或某个毕业生来说，这将是一个很棒的项目！

Answer 3

http://www.splunk.com/

从未使用它，但听说过它。