在火花中停止工作

Question

我正在使用Spark 1.3版。我有一份工作需要永远完成。 为了解决这个问题，我对代码进行了一些优化，然后重新开始工作。不幸的是，我在停止早期版本之前启动了优化代码，现在我无法阻止之前的工作。

以下是我试图杀死此应用的内容：

1. 通过Web UI 结果：spark UI对应用程序没有“kill”选项（我假设他们没有启用“spark.ui.killEnabled”，我不是这个集群的所有者）。

2. 通过命令行：spark-class org.apache.spark.deploy.Client kill mymasterURL app-XXX

结果：我收到此消息：

  

驱动程序app-XXX已经完成或不存在

但是我在网络用户界面中看到它仍在运行，资源仍然被占用。

1. 通过spark-submit命令行：spark-submit --master mymasterURL --deploy-mode cluster --kill app-XXX

结果：我收到此错误：

  

错误：仅在独立模式下支持终止提交！

1. 我尝试检索spark上下文以停止它（通过SparkContext.stop（）或cancelAllJobs（）），但由于1.3中没有“.getOrCreate”，因此不成功。我无法检索初始应用程序的spark上下文。

我很感激任何想法！

修改：我还尝试通过执行以下方式杀死应用：yarn application -kill app-XXX

结果：我收到了这个错误：

  

线程“main”中的异常java.lang.IllegalArgumentException：   无效的ApplicationId前缀：app-XX。有效的ApplicationId应该   从前缀应用程序开始