我不确定我是否正确地问了这,这可能就是为什么我找不到解决方案。因此,我将提供一个示例。
假设我有给定时间段内经理雇用的员工的日志。我可以创建一个按经理分组并显示雇用人数的查询
stats count() as numEmployees by managerId
| filter @message like /hired employee/
| sort numEmployees desc
假设生成下表
Mngr | numHires
Jack | 4
Judy | 3
May | 3
John | 2
Jake | 2
Mary | 1
Sam | 1
Alan | 1
我想进一步细化结果,以便生成另一个numHires直方图并像这样计数
4 | 1
3 | 2
2 | 2
1 | 3
此表意味着有1个实例的4名员工,2个实例的3名员工,2个实例的2名员工和3个实例的1名员工。
有没有办法做到这一点?
ps-我知道我可以下载csv并在excel中完成。但是,在Cloudwatch中返回了limit
,其中有10000个结果
答案 0 :(得分:1)
我需要进行相同类型的聚合,并向 AWS 提出支持案例,询问如何实现。 AWS 团队的回应是,遗憾的是目前无法使用 Insights。
<块引用>Insights 没有二级聚合的能力 目前。
因此,另一种解决方法是使用 AWS Quick Sights 或 MS Excel 绘制所需的图形。
就我而言,Excel 不是一种选择,因为我一天的结果数据集有数百万条记录。话虽如此,我的解决方案是仅对几分钟的数据进行采样,将其导出到 Excel,然后生成一个数据透视表来聚合数据。这让我大致了解了我的系统。
我还没有研究过 AWS Quick Sights。
除了 AWS Insights 之外,可能还有其他第三方解决方案,例如 Datadog,可以提供更强大的日志分析功能。我没有亲自使用过 Datadog,所以不能保证它,但已经阅读了关于它的好东西。
参考资料: [1] https://docs.aws.amazon.com/quicksight/latest/user/histogram-charts.html