是否有通过Logstash将JSON数据记录到Elasticsearch的附加值？

Question

我正在查看日志记录策略（从OS和应用程序（登录到syslog以及从我自己的应用程序中可以自由决定要记录什么和在哪里记录）的日志）。没有对Logstash的丰富经验，我想知道是否有通过它记录JSON数据的附加值（与直接将它们发送到Elasticsearch相对）。

我能想到的唯一优点是，日志记录可以一致地发送到stdout（然后由syslog接收），并一致地发送到Logstash（作为syslog），在那里进行分析（Logstash会知道例如，来自应用程序 myapp.py 的数据将发送原始JSON）。

使用Logstash作为中介还有其他优点吗？（在这种情况下，安全性并不重要）。

Answer 1

即使您的数据已经是JSON对象，使用Logstash也有很多优点。

例如：

• HTTP压缩：在将logstash输出到elasticsearch时，您可以选择使用http压缩，这将大大减少请求的大小和带宽的使用。
• 持久性队列：Logstash允许您在内存或磁盘中拥有一个持久性队列，以在由于某种原因而无法与Elasticsearch连接时保存事件。
• 数据操作：您可以使用过滤器来更改和丰富数据，例如，可以删除和添加字段，更改字段名称，在ip字段上使用geoip过滤器等。< / li>