负载平衡日志通过logstash流动更多多个服务

时间:2015-11-27 06:36:27

标签: elasticsearch logstash apache-kafka logstash-forwarder

我们有一个ElasticSearch-Logstash-Kibana部署,其中多个logstash-forwarders(来自多个服务日志)将日志推送到logstash然后将其发送到Kafka,然后又有一个logstash从Kafka中提取这些日志并在ElasticSearch集群中对它们进行索引

有人可以告诉我: -

  1. 在此类部署中处理流量高峰的最佳方法是什么?
  2. 我们可以用单一方式配置Kafka吗? logstash-forwarder(单个服务)不会占用整个服务 建立?我们希望确保所有服务都可以使用该设置 相当?
  3. 如何确保一个索引与之相比不会增长 其他?我们有几个服务日志的日常索引和我们 想要确保在峰值期间如果一个服务索引(或分片) 变得太大我们想要阻止该服务日志。这样的 群集性能不受影响?

0 个答案:

没有答案