如何利用logstash索引数据，但不从logstash生成额外的字段

Question

我正在测试ElasticSearch来处理大约10亿个小文档（只有8个字段）。当我使用logstash索引数据时，它会添加其他字段，如“message”，“@ version”，“@ timestamp”，这对我的案例无用，并且似乎消耗了大量的文档大小。有没有办法只索引配置中定义的字段？

Answer 1

是的，只需在Logstash配置中添加以下mutate filter：

filter {
 mutate {
  remove_field => [ "@version", "@timestamp", "message" ]
 }
}

Answer 2

是的，您可以添加和删除字段以删除conf文件中的以下代码段。

filter {
  mutate {
    remove_field => [ "@timestamp", "message", "@version" ]
  }
}

要添加新字段，请使用以下代码段。

filter {
  mutate {
    add_field => { "foo_%{somefield}" => "Hello world, from %{host}" }
  }
}