从ResourceManager GUI

时间:2015-10-02 15:18:50

标签: hadoop apache-spark

当我使用:

杀死作业时,我在YARN上运行Spark应用程序
yarn application kill -applicationId application_XYZ

我不能去杀死应用程序表单Hadoop GUI(ResourceManager)的Spark Job GUI。当我直接打开Spark历史服务器并尝试显示不完整的应用程序应用程序日志时,它可以工作。当作业完成(未被杀死)时,可以这样显示日志:Hadoop GUI - > Spark历史服务器。我使用YARN日志聚合服务来聚合日志。我可以使用以下方式访问应用程序日志:

yarn logs -applicationId application_XYZ

杀死Spark应用程序时是否遇到过相同的行为?以这种方式杀死申请有什么不对吗?

1 个答案:

答案 0 :(得分:0)

杀死这样的应用程序没有任何问题。是的,Hadoop UI不会显示被杀死的作业的输出,但正如您所提到的,您可以从主服务器上的日志中看到它。