Cloudera 5.4.4集群 - 获取汇总使用指标

Question

我想从Cloudera 5.4.4 Hadoop集群中收集聚合使用指标。我脑海中的一些指标如下：

• 每天/每周群集的平均CPU利用率
• Hadoop上运行时间最长的作业/查询
• 使用群集最多的前n位用户（按使用率，按提交的作业数量）
• 群集磁盘使用情况与磁盘容量
• 群集磁盘使用量随时间的增长

我可以使用任何API /资源/工具等来开始吗？我不认为我完全确定从哪里开始。任何起点都将非常感激。此外，如果您有任何问题，请与群集使用指标分享您的经验。

提前致谢！

Answer 1

Ganglia 是一个面向大型集群的开源，可扩展和分布式监控系统。它收集，汇总并提供数十个与机器相关的指标的时间序列视图，例如CPU, memory, storage, network usage。你可以在加州大学伯克利分校看到Ganglia的行动。 Ganglia也是监控Hadoop和HBase集群的流行解决方案，因为Hadoop（和HBase）内置支持将其指标发布到Ganglia。使用Ganglia，您可以轻松查看特定HDSF数据节点随时间写入的字节数，给定HBase区域服务器的块缓存命中率，对HBase集群的请求总数，垃圾收集所花费的时间以及许多，许多其他

ref- http://hakunamapdata.com/ganglia-configuration-for-a-small-hadoop-cluster-and-some-troubleshooting/

Answer 2

我希望此链接（here)可能会提供2和3的一些详细信息。