ElasticSearch-获取新记录

Question

我有一个使用Elasticsearch插件作为输入的Logstash实例。该输入插件的时间表为* * * * *。自运行调度程序以来，我想将记录输入到我的Elasticsearch实例中吗？似乎我需要一种方法来告诉插件在logstash启动时开始给我提供文档。然后，从那里去。但是，这一次，我在查询中使用“ @timestamp”字段，自从我的Elasticsearch索引启动以来，它正在Elasticsearch索引中获取所有文档。

如何从Logstash启动时开始在Elasticsearch索引中获取文档，然后从上次运行计划开始获取新文档？

我一直在碰碰运气，没有任何运气。提前非常感谢您的帮助！

Answer 1

根据我的阅读，可能无法做到非常精确。我所看到的最好的结果是每分钟运行一次查询，并使查询只回首一分钟。显然，有很多边缘情况会导致数据丢失和重复。

JDBC插件支持:injections [(require '[my.own.test-reporter :as tr])] :test-report {:reporters [tr/indenting-reporter]} 来存储上次时间，并且可以将其作为last_run_metadata_path来提供给查询。我看不到有人有requested this feature的ES输入插件。