我们正在使用DSE Analytics。 我正在尝试使用crontab安排火花作业, 通过提交火花。这项工作基本上应该每天晚上进行, 当该工作即将提交以后时,现有的应用程序应该被杀死,我很难找到解决方法。
因为我找不到提交的作业的应用程序ID或驱动程序ID,所以我可以正常关闭。
我知道可以使用Spark Master Web UI查找提交ID,但是如果要为此设置cron,则无法从UI获取ID。 是否有适当的方法来执行此操作。 我们正在运行DSE 6.7,而Analytics(分析)在专用DC中运行。 任何帮助将不胜感激
答案 0 :(得分:1)
因为您是以这种方式运行的,所以驱动程序以client
模式部署,这意味着它在本地计算机上执行,因此您只需使用kill
命令就可以将其杀死。您可以找到带有以下内容的进程ID
ps -aef|grep com.spark.Test|grep -v grep|awk '{print $2}'