在Elasticsearch中停用数据/数据翻转

Question

ES新手在这里，试图弄清楚如何强制执行文件TTL或基本数据清理只持有一天的数据。

我们目前每天解析大约80GB并填满我们的磁盘空间，elastic.co KB并没有证明是有用的。任何帮助或见解将不胜感激！

Answer 1

如果您有多个每日索引，则可以使用方便的curator tool，它可以让您管理索引。

例如，为了删除超过一天的所有索引，您可以像这样运行策展人：

curator delete indices --older-than 1 --time-unit days

如果您有单一索引并且您想要删除超过一天的数据，则可以使用delete by query plugin并删除时间戳早于时间戳的数据1天：

curl -XDELETE localhost:9200/your_index/_query -d '{
   "query": {
      "range": {
         "timestamp_field": {
            "lt": "now-1d"
         }
      }
   }
}'

Answer 2

在像你这样的情况下，我只会每天分配一个新索引，然后在滚动到新索引后关闭/删除它们，这与使用外部工具建议的@Val非常相似。

但是，我在文档中注意到Index和Bulk操作仍然支持TTL参数。您可能会发现在这种情况下很有用，尽管有一个弃用警告，如果您有磁盘空间，我仍然认为更强大的解决方案是旋转索引。