log4j使用Solr进行日志索引

Question

我们发现很难监控分布在四个托管服务器集群上的日志。所以，我正在尝试构建一个简单的log4j appender，它使用solrj api将日志存储在solr服务器中。我们的想法是使用杠杆REST的solr来构建一个更好的GUI，这可以帮助我们

1. 搜索日志并显示上一行和下一行50行左右和
2. 拖尾日志

前端很糟糕，我正在尝试使用GWT（原型版）烹饪。我打算在ASL下的googlecode上主持这个项目。

非常感谢你能否提出一些见解

1. 创建这样的项目是否有意义？
2. 使用Solr是否过度杀伤？
3. 有关Web框架/工具的任何建议，这些建议将帮助我构建基于标签的拖尾前端。

Answer 1

您可以结合使用logstash（用于发送和过滤日志）+ elasticsearch（用于索引和存储）+ kibana（适用于漂亮的GUI）。

Answer 2

loggly人员还构建了logstash，它可以通过很多东西来支持，包括通过弹性搜索的lucene。它也可以转发给graylog。

Answer 3

完全可行的事情。许多人已经完成了自己的工作。一些有用的链接..有一个在线服务，www.loggly.com这样做。它们实际上是基于Solr作为核心存储引擎！显然他们已经建立了一个专有的界面。

另一个选项是http://www.graylog2.org/。它是开源的。 Solr没有支持，但仍然非常酷！