基于字段的ElasticSearch过渡索引

时间:2019-08-21 09:48:30

标签: elasticsearch indexing apache-kafka-connect

我是一名保姆,正在学习Elastic Search。在这里,我使用Kafka将数据从ES推送到Kafka Connect。数据索引的大小会不断增长,然后增长到TB,并且很难进行搜索,直到我意识到每小时/每天都有一个新索引,并从Document中选择日期。

我的文档如下:

{  
   "base":{  
      "message":"",
      "timestamp":"2019-08-09T13:20:11.877Z",
      "type":"vpc"
   },
   "ecs":{  
      "version":"1.0.0"
   }
}

现在我可以使用时间戳记和文档中的内容来形成新的索引,例如“ vpc-2019.08.09-1”吗?这有助于我根据类型和时间戳创建文档并将其定向到索引。

以一个样本为例,我们有一个别名“ foo”,它被定义为基于时间的别名,索引格式为foo-yyyy.mm.dd

我们在2018年1月10日收到一份文件要写入索引。 ES客户端推断要写入的索引为foo-2018.01.10,并将数据写入指定的索引,或者在需要时创建数据。 我们将于2018年1月11日获得另一份文档进行撰写。推断的索引将是foo-2018.01.11并写入。

根据系统时间,我遇到了this。无济于事。 有什么建议吗?

0 个答案:

没有答案