Logstash是否为每个事件消息设置了限制大小？

Question

我正在我公司服务的服务器上实施监控工具。为此，我使用的是logstash。我们的应用程序通过log4net udp appender将日志发送到logstash（输入udp），然后logstash grok它们，并将它们发送到elasticsearch。当我在kibana中显示我的日志时，我看到一些日志被截断，最后一个主要部分丢失（对于大日志）。所以我的问题是，Logstash是否对收到的每个消息事件都有大小限制。如果是，是否可以增加尺寸。我需要所有日志，但没有一个被截断。

Answer 1

对于udp案例，我认为我找到了解决方案： - 增加udp.rb文件中的buffer_size参数。

我现在无法测试，但我会告诉你它是否有效。

Answer 2

我已使用Logstash 1.4.0和Logstash 1.3.3进行测试。 我找到了maximum size of an event is 4095！

因此，如果您的日志大于此大小，则可能必须在将日志发送到logstash时将其拆分为多个事件。

Answer 3

Logstash的属性 buffer_size 默认设置为 8192 。这就是为什么通过 UDP 发送到 Logstash 的邮件被截断为 8192th 符号。

尝试在Logstash中增加UDP buffer_size 。

<强>参考：

• https://github.com/elastic/logstash/issues/1505
• https://github.com/elastic/logstash/issues/2111
• http://logstash.net/docs/1.4.2/inputs/udp#buffer_size （可能已过时，请查看文档版本）

Answer 4

2019年更新：

最大大小由UDP输入中的buffer_size参数设置。 https://www.elastic.co/guide/en/logstash/current/plugins-inputs-udp.html#plugins-inputs-udp-buffer_size

默认缓冲区大小为：

• Logstash上的65536个字节> = 5.1
• Logstash上的8192个字节> = 2.0
• 在旧版本上为4096字节。