Logstash索引器是可扩展的吗?

时间:2014-02-06 02:56:17

标签: logging logstash

我正在使用logstash发货人 - > redis - > logstash索引器 - > elastricsearch - > kibana

据我所知,redis和elastricsearch旨在实现可扩展性。 如何使用logstash索引器,我只在logstash主站点上看到一个仅使用单个logstash索引器的示例。

这足以处理所有日志吗?你有多个logstash索引器实例的建议是什么?

2 个答案:

答案 0 :(得分:2)

如果您的索引器确实是此类设置的瓶颈,您可以在具有相同配置的第二台计算机上轻松添加第二个Logstash索引器,您只需更改redis源主机和elasticsearch目标主机。当他们从同一个redis实例读取时,他们使用阻塞读取来确保只有一个索引器读取一个redis条目。

与所有组件一样,它们特别擅长水平缩放(更多机器),但索引器也可以缩放到更大的机器上。

如果单个日志事件的处理时间过长,您可能会尝试阻止索引器的工作。这可以是例如通过在托运方面做一些工作(使用Logstash过滤器)或让应用程序编写JSON日志而不是“普通”日志来完成。

答案 1 :(得分:0)

部署“更大”的计算机时,将工作器数设置为等于系统中的核心数。您可以使用命令行标志来设置它。

来自:http://logstash.net/docs/1.4.2/flags

-w, - 过滤工人COUNT 运行COUNT个过滤器工作程序(默认值:1)

你也可以做一些测试,看看这是否是你的最佳价值,就我而言。您不需要在一台计算机上使用额外的实例。