如何在ElasticSearch中保留来自Logstash的重复数据删除消息的数量？

Question

我从this question看到，document_id可以很容易地在Logstash中用来替换ElasticSearch中的重复记录。我如何添加/增加计数值，例如重复系统日志消息？而不是仅仅替换记录我想增加计数，所以我知道重复了多少次。

Answer 1

根据您用于查看数据的内容，它可能就像查看文档的_version字段一样简单。当文档发生更改时，ES将自动更新该值。 Kibana没有显示_version字段（https://github.com/elasticsearch/kibana/issues/1234），但它就在那里。

Answer 2

我想我找到了我需要的东西。如果记录不存在，则会插入upsert，如果记录不存在则会更新。启用_source字段将允许递增现有字段。这种组合使我能够以1为计数开始，如果记录已经存在则增加1。谢谢@Alcanzar，你的回答让我的大脑朝着正确的方向前进，找到了这个。