最佳实践是将多个Elastic Beats扩展到集中式Logstash

时间:2018-10-20 10:34:37

标签: elasticsearch filebeat

我的目标是查看连接到集中式Logstash实例的100多台计算机的日志,并从5台计算机开始输出到Elasticsearch集群。

扩展此类应用程序的最佳实践是什么,或者是否有任何好的文章可供阅读或有任何示例?

我对此进行了大量研究,发现的唯一发现是每个实例都可以水平缩放:

  • 缩放Logstash
  • 扩展Elasticsearch

但是我认为还有很多事情要考虑。

其他想法将不胜感激。

1 个答案:

答案 0 :(得分:1)

这在很大程度上取决于每个logstash实例必须执行的解析。 例如,我从100多台计算机上收集了apache日志,其中只有一个logstash实例,该实例在麋鹿群集的节点上运行而没有任何问题。 Grok解析往往会占用大量资源。因此,我将执行以下操作:

  • 安装一个Logstash实例
  • 缓慢添加客户端并监视系统性能
  • 达到自己的阈值后,立即添加另一个logstash实例。

Voilá! :)