如何获取基于纱线的Spark应用程序的CPU使用情况配置文件

Question

我在hadoop集群上使用yarn运行Apache Spark应用程序。程序完成后，有没有办法可以检查该程序的CPU使用情况。基本上，我想要一个间隔为1或2秒的分析日志。

Answer 1

您可以使用ResourceManager rest API

https://hadoop.apache.org/docs/stable/hadoop-yarn/hadoop-yarn-site/ResourceManagerRest.html#Cluster_Applications_API

基本上，您需要实现一个REST客户端，每隔1或2秒查询一次ResourManager，并在运行时创建自己的日志。