我有一个在HDInsights上运行的Spark集群。 Ambari在其仪表板中显示了一些常规指标,例如 Namenode正常运行时间。我在哪里/如何找到与该指标相关的原始数据?
谢谢
答案 0 :(得分:1)
您应该“ 启用HDInsight Azure监视器日志集成”以查找与Ambari UI中可用的任何指标相关的原始数据。
Ambari仪表板,其中包含显示一些指标的小部件,以使您快速了解HDInsight群集的运行状况。这些小部件显示指标,例如实时DataNodes(工作节点)和JournalNodes(zookeeper节点),NameNodes(头节点)正常运行时间的数量,以及特定于某些群集类型的指标,例如YARN ResourceManager的正常运行时间Spark和Hadoop群集。
Azure Monitor日志允许将由多个资源(例如HDInsight群集)生成的数据收集到一个位置并进行汇总,以实现统一的监视体验。
先决条件是,您需要一个Log Analytics Workspace来存储收集的数据。如果尚未创建一个,则可以按照以下说明操作:Create a Log Analytics Workspace。
HDInsight群集包括Azure Monitor日志集成,该集成提供可查询的指标和日志以及可配置的警报。本文显示了how to use Azure Monitor to monitor your cluster。
作为一个示例,通过选择“在该查询上运行”来运行可用率示例查询,如上面的屏幕快照所示。这将以百分比形式显示集群中每个节点的可用性率。如果已启用多个HDInsight群集将指标发送到同一Log Analytics工作区,则将显示这些群集中所有节点的可用性率。
答案 1 :(得分:0)
Ambari代理可能使用os.system()
python调用。您可以使用
ssh user@node -c "uptime"