我刚刚开始学习Elastic Stack,并且已经必须诊断生产问题。我们的设置有时会遇到使用Logstash将消息从ActiveMq拉到Elastic Search的问题。会有1-3小时的延迟。
一个怀疑是,在我们应用程序的最新版本发布后,负载可能增加了。 有没有办法找出按月分组的邮件的总大小?不仅它们的数量,而且它们的总大小。也许文档的大小增加了,但文档的数量却没有增加。
答案 0 :(得分:0)
从设置生产监视实例开始,以提供有关群集的详细统计信息:https://www.elastic.co/guide/en/elastic-stack-overview/7.1/monitoring-production.html
这将使您获得消息/每月,平均文档大小,索引性能,缓冲区负载等指标。https://visualvm.github.io/
提供了有关内部性能的更多详细信息将这些片段放在一起的同时,您还可以调整Logstash的性能,例如
调整Logstash工作程序设置:
首先使用-w标志扩大管道工人的数量。这将增加可用于过滤器和输出的线程数。如果需要,可以安全地将其扩展到多个CPU内核,因为线程可以在I / O上变为空闲状态。
您还可以调整输出批次大小。对于许多输出,例如Elasticsearch输出,此设置将对应于I / O操作的大小。对于Elasticsearch输出,此设置对应于批次大小。
来自https://www.elastic.co/guide/en/logstash/current/performance-troubleshooting.html