大数据分析。 Elasticsearch,Logstash,Kibana,MRTG

时间:2014-10-22 09:10:17

标签: elasticsearch logstash kibana mrtg

因此,我必须想出一种方法,为用户提供大量数据“可读”,并且想知道是否有人可以指出使用弹性搜索+ kibana的方法与使用MRTG之类的方法之间的区别。 什么更适合更关注趋势的数据分析?

2 个答案:

答案 0 :(得分:0)

您提到的两种方法是针对完全不同类型的数据。

如果您的数据包含一系列常规时间戳度量值,例如来自路由器接口的5分钟流量速率样本,或来自温度传感器的1分钟样本,则MRTG(或更确切地说,RRDTool,即这样做可以很好地实现后端数据库。如果数据是不规则的,那么仍然可以,尽管您需要稍微自定义RRDTool数据库设置以避免大的“未知”区域。 RRDTool能够对您正在记录的指标进行趋势分析,但这不是通过MRTG完成的 - 您需要直接调用RRDTool函数。

如果您的数据是不规则的文本日志条目序列(事件),可能带有可解析的位置数据,并且您对事件的数量或速率更感兴趣,然后深入查看单个事件,Logstash / Kibana是要走的路。他们会给你一个事件率随时间变化的图表,但我认为他们不能提供趋势分析。此外,它们不提供嵌入在事件日志文本中的已分析数据的图形分析。 Logstash / kibana非常适合Syslog,Eventlog,应用程序日志(如Apache日志)等等,您更有兴趣看到一段时间内发生了与特定模式匹配的事件的模式。

您没有提供有关数据实际性质的足够信息,也未提供用户所需的“可读”分析信息,因此这必然是功能的高级摘要。

答案 1 :(得分:0)

Elasticsearch对于存储结构化数据(如文本)非常有效。 Logstash的用例是如何为有效查询构造数据的示例。

MRTG / RRD是用于测量时间间隔数据的工具。每个X时间单位,日志值Y.MTTG / RRD对于存储文本无效,它的工作不会触及Elasticsearch的用例。

如果您已经启动并运行Logstash安装,Graphite可能是一个需要考虑的工具。 Logstash可以将事件激发到Graphite或Statsd,也可以将事件数据存储在ElasticSearch中。关于Graphite / Carbon的好处是它不像MRTG那样与时间间隔联系在一起。您可以根据需要随时将信息发送到Graphite中,也可以不经常发送。

您在另一个答案中给出的用例可以很好地使用Graphite或类似工具。您可以在Graphite中绘制和报告许多基于值的事件,然后使用Elasticsearch将数据关联回事件。 (我并不是说与ES和Graphite集成,只是如果你使用Logstash来推送事件,那么很容易找到时间。)