消除Kibana仪表板中的重复项

Question

我有一个ELK仪表板，它使用来自kafka的数据。 输入的JSON数据中有4列。例如，列为col1，col2，col3，col4。

每天有100条记录用于弹性搜索。

假设我想根据特定的列说col1消除重复项，有没有办法在kibana仪表板上做。

Answer 1

您无法使用Kibana删除文档。

为此，您必须完成删除API。

为此，您必须检索要删除的文档的ID，然后使用api。

或者使用插件按查询删除同时执行这两项操作：https://www.elastic.co/guide/en/elasticsearch/plugins/current/plugins-delete-by-query.html

您可以使用此查询在字段col1上检索具有重复项的文档：

{
  "size": 0,
  "aggs": {
    "duplicateCount": {
      "terms": {
        "field": "col1",
        "min_doc_count": 2
      },
      "aggs": {
        "duplicateDocuments": {
          "top_hits": {}
        }
      }
    }
  }
}

来源：https://qbox.io/blog/minimizing-document-duplication-in-elasticsearch