Logstash以Elasticsearch批量API数据格式输出事件

Question

是否可以让Logstash以Elasticsearch批量API数据格式输出事件？

这个想法是在许多机器上进行一些繁重的解析（没有直接连接到ES节点），然后手动将数据提供给ES。

感谢您的帮助。

Answer 1

Logstash是单行类型的系统，批量格式是多行格式。这有两个想法：

1）查看文件{}输出message_format是否可以包含换行符。这将允许您输出元数据行，然后输出数据行。

2）使用logstash的clone {}制作每个事件的副本。在“原始”事件中，使用带有message_format的文件{}输出，该message_format看起来像批量输出的第一行（索引，类型，id）。在克隆副本中，默认文件{}输出可能有效（或使用具有所需格式的message_format）。

Answer 2

如果您需要使用您的值更改Logstash中的flush_size：

https://www.elastic.co/guide/en/logstash/current/plugins-outputs-elasticsearch.html#plugins-outputs-elasticsearch-flush_size

或者直接在elasticsearch上使用 json 编解码器和afterload在文件中发送元数据 https://www.elastic.co/guide/en/logstash/current/plugins-outputs-file.html