我想使用Elasticsearch从位于时间范围内的索引中获取文档。
因此,为了提供一些背景知识,我有一个处理数据的应用程序。万一发生故障,我没有选择重试的方法,而是打算将其推送到Elasticsearch以获得故障索引,以进行重试。从那里开始,我计划有另一个应用程序,该应用程序每1分钟,5分钟或30秒(基本上是预先配置的时间间隔)运行一次,并在该时间范围内提取文档并重试。为此,我打算运行日期范围查询。我对此有疑问。
根据我对Elastic search读取路径的了解,它将读取查询分发到所有适用的分片。由于这是基于时间戳的查询,因此也可能意味着扩展到所有分片。因此,我想了解这一点对性能的影响。选项之一是用关键字数据类型定义预定义的索引,并为我选择的轮询间隔创建它们。那是一个可行的选择吗?
此外,如果文档仍然失败,我计划删除旧文档,并以最新时间戳再次推送。
以前有人尝试过这种模式吗?还是有另一种更好的方法?