日志的模式识别

时间:2013-10-07 13:26:01

标签: logging elasticsearch monitoring logstash kibana

我正在为Web应用程序集群构建日志分析系统。 我的目标是在一个地方收集许多不同的日志,将它们转换为单一格式并通过Web界面显示。我已经开始使用logstash来收集和格式化日志,elasticsearch用于存储它们和kibana作为Web界面。这个系统允许我存储,查看,搜索和过滤日志消息,但我想要更多!

我需要一个开源复杂事件处理系统来识别消息模式。 主要目标是得到这样的报告:

  • 今天“第321行的BlahController.php”中有123个错误
  • 今天有5种新的日志模式被识别出来
  • “ssh auth failed”的计数增加了3%

我在幻灯片12-14找到了一个presentation类似的报告。据我所知,这是一个自定义的CEP系统。

我的问题:我的目标是否有任何开源软件?

1 个答案:

答案 0 :(得分:0)

生产质量稳定的复杂事件处理系统似乎符合您的需求(开源)Esper,可用于JVM和.NET平台。