使用Logstash / Redis在出货单节点中记录保证交货

时间:2014-08-28 19:31:43

标签: logging redis logstash log-shipping log-analysis

您认为人们如何在每个Logstash发货人节点中放置Redis以确保有保证的日志传送?

2 个答案:

答案 0 :(得分:0)

如果您使用logstash或logstash-forwarder作为托运人进入集中式日志记录,您通常不需要像redis这样的经纪人。托运人将检测logstash何时无法接受更多事件。它将保持指向当前日志位置的指针,并在移除瓶颈时继续。

如果你有不缓冲的日志(syslog,snmptrap等),那么经纪人就有意义了。

答案 1 :(得分:0)

从摄取点(生成下游事件)到存储在Elasticsearch或Hadoop中没有任何保证。这是一个有许多故障点的分布式系统。不幸的是,您需要处理可靠性和恢复。有一个CR挂起的logstash来改善当前的情况。

https://github.com/elastic/logstash/issues/2609

尽管如此,logstash充当下游系统的事件的发起者或聚合器。您需要根据系统设计和SLA来解决可靠性问题。如果您使用像Splunk这样的完整堆栈产品,问题将由供应商处理。(至少我被告知但还没有为自己测试;)