使用命令提示符杀死Spark作业

时间:2017-04-05 09:16:32

标签: apache-spark

从终端杀死火花作业的命令是什么? 我不想通过spark UI杀死正在运行的火花作业

4 个答案:

答案 0 :(得分:3)

如果您正在使用纱线

yarn application -kill application

从WEB UI获取应用程序ID

./bin/spark-class org.apache.spark.deploy.Client kill <master url> <driver ID>

或者您可以通过命令spark-submit查看jps id并终止该过程,但这不是建议的方式

答案 1 :(得分:3)

查看正在运行的应用程序列表

yarn application -list 

杀死

yarn application -kill appid

答案 2 :(得分:1)

如果您正在使用纱线,请在终端

中使用以下命令
yarn application -kill application_id

答案 3 :(得分:0)

使用以下命令,您将获得群集中所有正在运行的作业。使用grep关键字获取确切的作业,并使用该应用程序ID终止该作业。简单快捷。

yarn application -appStates RUNNING -list | grep "applicationName"

yarn application -kill <applicationId>