我编写了shell脚本来在yarn-client模式下调用spark-submit。当我使用nohup运行shell脚本时,我的spark作业将被提交给yarn。过了一段时间,我使用yarn kill -applicationId <application_id> to kill spark application.
Yarn UI显示应用程序已被杀死。但是当我执行pstree -p | grep spark
时(在linux机器上)
它仍然显示
-sh(23177)---spark-submit(23178)---java(23179)-+-{java}+
即java进程未被杀死。当我杀死spark应用程序时,如何确保java进程也被杀死?
由于