当我使用:
杀死作业时,我在YARN上运行Spark应用程序yarn application kill -applicationId application_XYZ
我不能去杀死应用程序表单Hadoop GUI(ResourceManager)的Spark Job GUI。当我直接打开Spark历史服务器并尝试显示不完整的应用程序应用程序日志时,它可以工作。当作业完成(未被杀死)时,可以这样显示日志:Hadoop GUI - > Spark历史服务器。我使用YARN日志聚合服务来聚合日志。我可以使用以下方式访问应用程序日志:
yarn logs -applicationId application_XYZ
杀死Spark应用程序时是否遇到过相同的行为?以这种方式杀死申请有什么不对吗?
答案 0 :(得分:0)
杀死这样的应用程序没有任何问题。是的,Hadoop UI不会显示被杀死的作业的输出,但正如您所提到的,您可以从主服务器上的日志中看到它。