填充专用卷时如何处理Elasticsearch数据

Question

我正在k8s集群上创建EFK堆栈。我使用的是here中所述的EFK舵表。这将创建两个PVC：一个用于es-master，一个用于es-data。

假设我为每个PVC分配了50 Gi。当这些最终填满时，我期望的行为是让新数据开始覆盖旧数据。然后，我想将旧数据存储到例如s3存储桶中。如何配置Elasticsearch来做到这一点？

Answer 1

Elasticsearch Curator是一个可以帮助您完成此任务的简单工具： https://www.elastic.co/guide/en/elasticsearch/client/curator/5.5/actions.html

您可以将其用于：

1. 按大小/时间滚动保存数据的索引。这将导致每个PVC根据时间保留少量索引。
2. 快照已滚动的索引以在S3中备份
3. 根据日期删除旧索引-删除最旧的索引以释放新索引的空间。

Curator可以帮助您完成所有这些工作。