杀死运行火花驱动程序

时间:2016-10-20 23:32:06

标签: java linux apache-spark

我在一个小型计算集群上运行spark 1.6.0并希望杀死一个驱动程序。我已经提交了开箱即用的Spark Pi计算示例的自定义实现,其中包含以下选项:

spark-submit --class JavaSparkPi --master spark://clusterIP:portNum --deploy-mode cluster /path/to/jarfile/JavaSparkPi.jar 10

注意:10是命令行参数,与此问题无关。

我尝试了很多方法来杀死在群集上启动的驱动程序:

  1. ./bin/spark-class org.apache.spark.deploy.Client kill
  2. spark-submit --master spark://node-1:6066 --kill $driverid
  3. 从spark管理界面(web ui)发出kill命令:http://my-cluster-url:8080
  4. Number 2产生成功的JSON响应:

    {
      "action" : "KillSubmissionResponse",
      "message" : "Kill request for driver-xxxxxxxxxxxxxx-xxxx submitted",
      "serverSparkVersion" : "1.6.0",
      "submissionId" : "driver-xxxxxxxxxxxxxx-xxxx",
      "success" : true
    }
    

    其中'driver-xxxxxxxxxxxxxx-xxxx'是实际的驱动程序ID。

    但是,网络用户界面http://my-cluster-url:8080/仍然显示驱动程序正在运行。

    还有什么我可以尝试的吗?

0 个答案:

没有答案