如何在不通过Spark-Submit知道驱动程序ID的情况下关闭Spark应用程序

时间:2019-08-19 05:21:34

标签: apache-spark datastax spark-submit

我们正在使用DSE Analytics。 我正在尝试使用crontab安排火花作业, 通过提交火花。这项工作基本上应该每天晚上进行, 当该工作即将提交以后时,现有的应用程序应该被杀死,我很难找到解决方法。

因为我找不到提交的作业的应用程序ID或驱动程序ID,所以我可以正常关闭。

我知道可以使用Spark Master Web UI查找提交ID,但是如果要为此设置cron,则无法从UI获取ID。 是否有适当的方法来执行此操作。 我们正在运行DSE 6.7,而Analytics(分析)在专用DC中运行。 任何帮助将不胜感激

1 个答案:

答案 0 :(得分:1)

因为您是以这种方式运行的,所以驱动程序以client模式部署,这意味着它在本地计算机上执行,因此您只需使用kill命令就可以将其杀死。您可以找到带有以下内容的进程ID

ps -aef|grep com.spark.Test|grep -v grep|awk '{print $2}'