Logstash不工作并消耗99%的CPU

时间:2016-03-09 11:02:33

标签: logstash filebeat

我们有以下infra结构将应用程序日志数据索引到ELK。 filebeat -------> Logstash ------>弹性搜索-----> kibana

所有工作正常但突然Logstash服务器消耗99.9%的CPU,之后没有发生索引。在filebeat中我们可以看到"错误发布事件(重试):EOF"

如果我们重新启动logstash服务,它会开始编制索引,但当它达到CPU 99.9%时,它什么都不做。

弹性搜索和kibana:AWS服务 Logstash:AWS Medium服务器 Filebeat:我们的应用程序测试环境的AWS实例。

请帮助我们解决此问题。

如果您需要任何其他详细信息,请与我们联系。

提前致谢。

1 个答案:

答案 0 :(得分:0)

感谢Arivazhgan和daniel的支持和建议。 我发现了问题,实际问题是我的过滤器逻辑需要更多时间来处理日志消息。我修改了日志消息格式和优化的grok表达式。现在一切正常。

已完成以下更改: 01.我使用mutate将少数字段转换为int和float。这改变了我在模式文件本身中所做的。 02.我修改了日志消息格式。 03.优化了grok表达式。