搜索elmah错误日志文件（可能在1000年代）

Question

我们有一个XML格式的elmah错误日志文件夹。这些文件将以百万为单位，每个文件的大小可能高达50 kb。我们需要能够搜索文件（例如：发生了什么错误，系统失败等）。我们是否有一个开源系统可以索引文件并可能帮助我们使用关键字搜索文件？我看过Lucene.net，但似乎我将代码应用程序。 请指教。

Answer 1

如果您需要将日志放在XML格式的文件夹中，elmah-loganalyzer可能会有用。

您还可以使用Microsoft的Log Parser对xml文件执行“sql like”查询：

LogParser -i:XML "SELECT * FROM *.xml WHERE detail like '%something%'"

编辑：

您可以使用nutch + SOLR或logstash + Elastic Search的组合作为索引解决方案。

• http://wiki.apache.org/nutch/NutchTutorial
• http://lucene.apache.org/solr/tutorial.html

• http://blog.building-blocks.com/building-a-search-engine-with-nutch-and-solr-in-10-minutes

• http://www.logstash.net/

• http://www.elasticsearch.org/tutorials/using-elasticsearch-for-logs/
• http://www.javacodegeeks.com/2013/02/your-logs-are-your-data-logstash-elasticsearch.html

Answer 2

我们是一些开发网站的开发人员http://elmah.io。 elmah.io索引所有错误（在ElasticSearch中），可以进行时髦的搜索，组错误，隐藏错误，时间过滤错误等等。我们目前处于测试阶段，但如果您在http://elmah.io注册，则会获得指向测试版网站的链接。

不幸的是，elmah.io不会导入您现有的错误日志。我们将开源ELMAH ErrorLog类型的实现，它在您自己的ElasticSearch中为您的错误编制索引（为项目监视https://github.com/elmahio）。同样，此错误记录器不会索引现有的错误日志，但您可以实现一个解析器，该解析器运行XML文件并使用我们的开源错误记录器索引所有内容。如果您不想在ElasticSearch之上实现新的UI，也可以通过我们的API直接将错误导入elmah.io。