分布式logstash + redis + elasticsearch设置

时间:2014-01-07 09:23:53

标签: redis elasticsearch logstash

在我们的网络中,有一些本地节点并不总是连接到中心节点,我们无法改变这种情况。

我们的要求如下;

  1. 在本地节点中;本地日志将被存储并可以搜索
  2. 在中心节点;所有收集的日志都将被存储并可以搜索
  3. 我们当前的logstash设置如下;

    Logstash使用redis收集本地节点和船舶中的日志,并将其存储在本地elasticsearch实例中。在中心节点,来自redis的输入再次存储在中央弹性搜索中。

    由于本地节点并不总是连接;日志不会传输到中心,并且中心节点上的日志不可用。

    因此,我们需要其他设置来传输节点脱机时记录的日志。 Logstash和Elasticsearch文档都没有包含这种同步。你有什么建议吗?

1 个答案:

答案 0 :(得分:0)

您可以在本地节点上运行redis,并为中心节点使用不同的端口。 这意味着你将开始两次redis。一个用于本地使用,一个用于中心节点!

本地节点还将日志发送到此redis。 Redis将缓冲收到的所有日志。 (PS:Logstash可以在同一配置中输出到多个redis)

当连接网络时,中心节点可以从本地节点redis读取日志事件。 所以这可以解决所有同步问题。