Fluentd + Mongo vs. Logstash

时间:2012-03-18 14:53:02

标签: zabbix fluentd

我们的团队现在使用zabbix进行监控和警报。另外,我们使用流利的方式将日志收集到一个中央mongoDB,并且它可以工作一周。最近我们讨论了另一个解决方案 - Logstash。我想问一下他们之间有什么区别?在我看来,我想使用zabbix作为数据收集和警报发送平台,并且流畅地在整个基础架构中扮演“数据收集”角色。虽然我查看了Logstash网站,发现Logstash不仅是一个日志采集系统,而且还是一个收集,演示和搜索的完整解决方案。

有人可以提供一些建议或分享一些经验吗?

2 个答案:

答案 0 :(得分:2)

Logstash非常通用(免责声明:只玩了几周)。

我们一直在看Graylog2一段时间(听syslog并提供一个不错的搜索UI),但其中的消息处理功能基于Drools引擎,并且充其量只是奥术。

我发现从我们的中央服务器读取logstash读取syslog文件要容易得多,按下事件并输出到Graylog2。给予我们更大的灵活性,并允许我们在OS级别的系统日志数据旁添加应用程序级事件。

它有一个zabbix输出,所以你可能会发现值得一看。

答案 1 :(得分:1)

Logstash非常适合Zabbix。

我在github上分配一个repo来获取logstash statsd输出并将其发送到Zabbix以进行趋势/警报。正如另一个人所提到的,logstash还有一个Zabbix输出插件,非常适合通知/发送匹配的事件。

就个人而言,我更喜欢原生 Logstash-> Elasticsearch 后端 Logstash-> Graylog2( - > Elasticsearch)

管理起来更容易,尤其是在您拥有大量日志数据的情况下。目前,Graylog2也使用Elasticsearch,但对所有数据只使用一个索引。如果您定期清理旧数据,这意味着相当于大量SQL“从表中删除日期> YYYY.MM.DD”类型调用以清除旧数据,其中Logstash默认为每日索引(等效“drop table YYYY.MM.DD”),所以清理效果更好。

它还可以实现更清晰的搜索,所需的堆空间更少,因为您可以搜索已知日期,因为索引是根据它包含的日期数据命名的。