Question

我在ElasticSearch中索引了大量文档，我需要获取以下数据：

对于每个月，获取每月工作日的文件的平均数量（或者如果不可能，则默认使用20天）。

我已经使用date histogram聚合将我的数据汇总到了几个桶中。我尝试嵌套stats存储桶，但此聚合使用从文档字段中提取的数据，而不是从父存储桶中提取的数据。

到目前为止，这是我的查询：

{
    "query": {
        "match_all": {}
    },
    "aggs": {
        "docs_per_month": {
            "date_histogram": {
                "field": "created_date",
                "interval": "month",
                "min_doc_count": 0
            }
            "aggs": {
                '???': '???'
            }
        }
    }
}

修改

为了让我的问题更清楚，我需要的是：

获取为该月创建的文档总数（由于date_histogram聚合已经完成）
获取当月的工作日数
将第一个除以第二个。

Answer 1

使用以下scripted_metric aggregation，有一个非常复杂的解决方案而且效果不佳。

{
  "size": 0,
  "query": {
    "match_all": {}
  },
  "aggs": {
    "docs_per_month": {
      "date_histogram": {
        "field": "created_date",
        "interval": "month",
        "min_doc_count": 0
      },
      "aggs": {
        "avg_doc_per_biz_day": {
          "scripted_metric": {
            "init_script": "_agg.bizdays = []; _agg.allbizdays = [:]; start = new DateTime(1970, 1, 1, 0, 0); now = new DateTime(); while (start < now) { def end = start.plusMonths(1); _agg.allbizdays[start.year + '_' + start.monthOfYear] = (start.toDate()..<end.toDate()).sum {(it.day != 6 && it.day != 0) ? 1 : 0 }; start = end; }",
            "map_script": "_agg.bizdays << _agg.allbizdays[doc. created_date.date.year+'_'+doc. created_date.date.monthOfYear]",
            "combine_script": "_agg.allbizdays = null; doc_count = 0; for (d in _agg.bizdays){ doc_count++ }; return doc_count / _agg.bizdays[0]",
            "reduce_script": "res = 0; for (a in _aggs) { res += a }; return res"
          }
        }
      }
    }
  }
}

让我们详细说明下面的每个脚本。

我在init_script所做的是创建自1970年以来每月工作日数的地图，并将其存储在_agg.allbizdays地图中。

_agg.bizdays = [];
_agg.allbizdays = [:]; 
start = new DateTime(1970, 1, 1, 0, 0);
now = new DateTime();
while (start < now) { 
    def end = start.plusMonths(1);     
    _agg.allbizdays[start.year + '_' + start.monthOfYear] = (start.toDate()..<end.toDate()).sum {(it.day != 6 && it.day != 0) ? 1 : 0 }; 
    start = end; 
}

在map_script中，我只是检索每个文档的月份工作日数;

_agg.bizdays << _agg.allbizdays[doc.created_date.date.year + '_' + doc. created_date.date.monthOfYear];

在combine_script中，我总结了每个碎片的平均文件数

_agg.allbizdays = null;
doc_count = 0; 
for (d in _agg.bizdays){ doc_count++ }; 
return doc_count / _agg.bizdays[0];

最后在reduce_script中，我总结了每个节点的平均文档计数：

res = 0; 
for (a in _aggs) { res += a }; 
return res

我认为这很复杂，而且正如安德烈正确地说的那样，最好等待2.0让它按照应有的方式工作，但与此同时你有这个解决方案，如果你需要的话。

Answer 2

对于仍然感兴趣的任何人，您现在都可以使用avg_bucket聚合。它仍然有些棘手，因为您不能简单地在avg_bucket聚合结果上运行date_historgram，而是使用具有某些唯一值的辅助value_count聚合，并且效果很好：）

{
  "size": 0,
  "aggs": {
    "orders_per_day": {
      "date_histogram": {
        "field": "orderedDate",
        "interval": "day"
      },
      "aggs": {
        "amount": {
          "value_count": {
            "field": "dateCreated"
          }
        }
      }
    },
    "avg_daily_order": {
      "avg_bucket": {
        "buckets_path": "orders_per_day>amount"
      }
    }
  }
}

Answer 3

您希望在星期六和星期日排除带时间戳的文档，以便您可以使用脚本在查询中排除这些文档

{
  "query": {
    "filtered": {
      "filter": {
        "script": {
          "script": "doc['@timestamp'].date.dayOfWeek != 7 && doc['@timestamp'].date.dayOfWeek != 6"
        }
      }
    }
  },
  "aggs": {
    "docs_per_month": {
      "date_histogram": {
        "field": "created_date",
        "interval": "month",
        "min_doc_count": 0
      },
      "aggs": {
        "docs_per_day": {
          "date_histogram": {
            "field": "created_date",
            "interval": "day",
            "min_doc_count": 0
          }
        },
        "aggs": {
          "docs_count": {
            "avg": {
              "field": ""
            }
          }
        }
      }
    }
  }
}

您可能不需要按月进行第一次聚合，因为您已使用日间隔

获得此信息

顺便说一下，您需要通过将其添加到elasticsearch.yml配置

来确保启用动态脚本

script.disable_dynamic: false

或者在/ config / scripts下添加一个groovy脚本，并使用带过滤器

中的脚本的过滤查询

Answer 4

你基本上需要的是这样的事情（哪个不起作用，因为它不是一个可用的功能）：

{
  "query": {
    "match_all": {}
  },
  "aggs": {
    "docs_per_month": {
      "date_histogram": {
        "field": "date",
        "interval": "month",
        "min_doc_count": 0
      },
      "aggs": {
        "average": {
          "avg": {
            "script": "doc_count / 20"
          }
        }
      }
    }
  }
}

它无法正常工作，因为无法从＆＃34;父母＆＃34;访问doc_count。聚合

但是，这可以在Elasticsearch的2.x分支中实现，并且目前正在积极开发：https://github.com/elastic/elasticsearch/issues/8110 这个新功能将在聚合的结果（存储桶）上添加第二层操作，它不仅是您的用例，还有许多其他用途。

除非您想在应用中尝试some ideas out there或执行自己的计算，否则您需要等待此功能。

Elasticsearch平均日期直方图存储桶

4 个答案: