我是一名保姆,正在学习Elastic Search。在这里,我使用Kafka
将数据从ES
推送到Kafka Connect
。数据索引的大小会不断增长,然后增长到TB,并且很难进行搜索,直到我意识到每小时/每天都有一个新索引,并从Document
中选择日期。
我的文档如下:
{
"base":{
"message":"",
"timestamp":"2019-08-09T13:20:11.877Z",
"type":"vpc"
},
"ecs":{
"version":"1.0.0"
}
}
现在我可以使用时间戳记和文档中的内容来形成新的索引,例如“ vpc-2019.08.09-1”吗?这有助于我根据类型和时间戳创建文档并将其定向到索引。
以一个样本为例,我们有一个别名“ foo”,它被定义为基于时间的别名,索引格式为foo-yyyy.mm.dd
我们在2018年1月10日收到一份文件要写入索引。 ES客户端推断要写入的索引为foo-2018.01.10,并将数据写入指定的索引,或者在需要时创建数据。 我们将于2018年1月11日获得另一份文档进行撰写。推断的索引将是foo-2018.01.11并写入。
根据系统时间,我遇到了this。无济于事。 有什么建议吗?