如何扩展logstash节点？

Question

我们有一个BELK设置，其中单个Logstash当前正在从“ kafka”中提取日志，并且当前滞后了数百万。如何在logstash端调用它？如何添加第二台Logstash服务器并让它们分担负载？

Answer 1

如果启动第二个实例并且它使用相同的group_id，则所有分区将在两个logstash实例之间平均分配。

请确保您的邮件在所有分区之间均匀分布（即，您的邮件没有放入一个或几个分区中）。

仅供参考，如果还没有，您还可以调整Logstash的单个实例。特别是，consumer threads的默认数字是1，这只有在您有1个分区的情况下才可以。