我是ES的新手，我有一些特定的要求，我的文档看起来像这样
{
"_index" : "bidder_server_stats",
"_type" : "doc",
"_id" : "_NTrHGQBv0YTjfMi0Ord",
"_score" : 1.0,
"_source" : {
"avg_price" : 5.8,
"bc" : "2513",
"log_dt_st" : "2018-06-08T06:36:16.073Z",
"nid" : "1",
"cc" : "880",
"host" : "ip-172-31-18-62.ec2.internal",
"country" : "us"
}
},
{
"_index" : "bidder_server_stats",
"_type" : "doc",
"_id" : "_NTrHGQBv0YTjfMi0Ord",
"_score" : 1.0,
"_source" : {
"avg_price" : 10,
"bc" : "2514",
"log_dt_st" : "2018-06-08T06:36:16.073Z",
"nid" : "1",
"cc" : "880",
"host" : "ip-172-31-18-62.ec2.internal",
"country" : "us"
}
},
{
"_index" : "bidder_server_stats",
"_type" : "doc",
"_id" : "_NTrHGQBv0YTjfMi0Ord",
"_score" : 1.0,
"_source" : {
"avg_price" : 11,
"bc" : "2513",
"log_dt_st" : "2018-06-08T06:36:16.073Z",
"nid" : "1",
"cc" : "880",
"host" : "ip-172-31-18-62.ec2.internal",
"country" : "us"
}
}
现在我需要使用下面的查询得到的结果
select bc,log_dt_st,sum(avg_price) from table group by bc,log_dt_st.
我们如何在Elasticsearch中做到这一点。而且我只想要结果集中的这三列（即_source）。
请帮助
答案 0 :(得分：1)
您可以使用sub-aggregations来实现。从ES 6.1开始，composite聚合也可以派上用场（尽管仍处于试验阶段）。
查询可能看起来像这样：
POST bidder_server_stats/doc/_search
{
"size": 0,
"aggs": {
"by bc": {
"terms": {
"field": "bc"
},
"aggs": {
"by log_dt_st": {
"terms": {
"field": "log_dt_st"
},
"aggs": {
"sum(avg_price)": {
"sum": {
"field": "avg_price"
}
}
}
}
}
}
}
}
响应如下：
{
...
"aggregations": {
"by bc": {
"doc_count_error_upper_bound": 0,
"sum_other_doc_count": 0,
"buckets": [
{
"key": "2513",
"doc_count": 2,
"by log_dt_st": {
"doc_count_error_upper_bound": 0,
"sum_other_doc_count": 0,
"buckets": [
{
"key": 1528439776073,
"key_as_string": "2018-06-08T06:36:16.073Z",
"doc_count": 2,
"sum(avg_price)": {
"value": 16.800000190734863
}
}
]
}
},
{
"key": "2514",
"doc_count": 1,
"by log_dt_st": {
"doc_count_error_upper_bound": 0,
"sum_other_doc_count": 0,
"buckets": [
{
"key": 1528439776073,
"key_as_string": "2018-06-08T06:36:16.073Z",
"doc_count": 1,
"sum(avg_price)": {
"value": 10
}
}
]
}
}
]
}
}
}
需要考虑的片刻：
bc应该具有keyword类型（以便能够对其进行terms聚合）terms聚合默认仅返回前10个存储桶；您可能对此聚合的size和sort选项感兴趣更新：回答评论中的问题，因为它可以改善答案。
不，不是直接。像在SQL GROUP BY中一样，返回的所有字段都应为GROUP BY的一部分或聚合函数。
实际上很少有选项可以在聚合中获取更多数据：
hits部分）； top_hits聚合，它允许给定存储桶具有一些最相关的文档。我找不到任何相关文档或配置设置来确定答案。但是，Dynamic index settings中的index.max_docvalue_fields_search设置默认为100。由于聚合使用doc_values，因此我想说大约100个存储桶聚合是一个合理的上限。
我相信这里的限制是您的Elasticsearch集群的实际性能。
可以完成，但可能效率不高。您可以使用terms聚合的script模式。查询可能看起来像这样：
POST bidder_server_stats/doc/_search
{
"size": 0,
"aggs": {
"via script": {
"terms": {
"script": {
"source": "doc['bc'].value +':::'+ doc['log_dt_st'].value ",
"lang": "painless"
}
},
"aggs": {
"sum(avg_price)": {
"sum": {
"field": "avg_price"
}
}
}
}
}
}
结果将如下所示：
{
...
"aggregations": {
"via script": {
"doc_count_error_upper_bound": 0,
"sum_other_doc_count": 0,
"buckets": [
{
"key": "2513:::2018-06-08T06:36:16.073Z",
"doc_count": 2,
"sum(avg_price)": {
"value": 16.800000190734863
}
},
{
"key": "2514:::2018-06-08T06:36:16.073Z",
"doc_count": 1,
"sum(avg_price)": {
"value": 10
}
}
]
}
}
}
为了执行此聚合，Elasticsearch将必须为与查询匹配的每个文档计算存储桶值，这相当于SQL中的完整扫描。相反，聚合更像是索引查找，因为它们使用doc_values数据表示形式，该数据结构使这些查找有效。
在某些情况下，script存储桶是一种解决方案，但其范围非常有限。如果您对基于script的解决方案感兴趣，还可以考虑使用scripted metric aggregation。
希望有帮助！
composite聚合在Elasticsearch 6.1 composite中添加了聚合。从6.3开始，它仍标记为experimental（因此API可能会更改，或者将来可能会完全删除此功能）。
在这种情况下，查询如下：
POST bidder_server_stats/doc/_search
{
"size": 0,
"aggs": {
"my composite": {
"composite": {
"sources": [
{
"bc": {
"terms": {
"field": "bc"
}
}
},
{
"log_dt_st": {
"terms": {
"field": "log_dt_st"
}
}
}
]
},
"aggs": {
"sum(avg_price)": {
"sum": {
"field": "avg_price"
}
}
}
}
}
}
响应：
{
"aggregations": {
"my composite": {
"after_key": {
"bc": "2514",
"log_dt_st": 1528439776073
},
"buckets": [
{
"key": {
"bc": "2513",
"log_dt_st": 1528439776073
},
"doc_count": 2,
"sum(avg_price)": {
"value": 16.800000190734863
}
},
{
"key": {
"bc": "2514",
"log_dt_st": 1528439776073
},
"doc_count": 1,
"sum(avg_price)": {
"value": 10
}
}
]
}
}
}