我想获得火花作业的平均资源利用率以用于监控目的，如何轮询资源，即cpu和Spark应用程序的内存利用率。？
答案 0 :(得分：1)
您可以检查stderr日志以查找已完成的Spark应用程序。 转到纱线资源经理。单击应用程序ID，然后单击appattempt_ *行右侧的“Logs”。 滚动到日志类型：stderr并单击“单击此处查看完整日志”。查看日志中的内容：
"yarn.YarnAllocator: Will request 256 executor containers, each with 5 cores and 8576 MB memory including 384 MB overhead"
答案 1 :(得分：0)
您必须从YARN中提取日志
命令行： yarn application -logs {YourAppID}您可以从spark作业的堆栈或yarn application -list命令或UI中获取applicationID。关于纱线命令的更多信息是here
FROM UI：如果您使用的是Cloudera，则可以从http://${LOCALHOST}:7180/cmf/services/17/applications看到您可以http://${LOCALHOST}:8088/cluster