Spark：如何取消Spark提交过程

Question

如何终止正在运行的提交火花的进程？我正在尝试编写脚本来执行此操作，但是我不知道如何获取Yarn应用程序ID。

Answer 1

$ ps | grep Java

这将显示一些过程，并注明PID值可以说是848484

$杀死-9 848484

这将终止进程

，或者在操作结束时的过程中可以添加等待终止，除非您想在后台运行过程

awaitTermination-它在内部使用一些条件变量，用于检查是否在代码中显式调用了stop（）或应用程序已终止（Ctrl + C）。

Answer 2

杀死提交火花的应用程序的正确方法是杀死纱线中的应用程序。因此，运行：

1. yarn application -list =>要查看在yarn中运行的所有应用程序。
2. 从步骤1的输出中找到您的应用程序ID。
3. 使用yarn application -kill <appID>杀死纱线应用程序

此外，如果要查看纱线记录，可以使用：yarn logs -applicationId <appID>