我在一个小型计算集群上运行spark 1.6.0并希望杀死一个驱动程序。我已经提交了开箱即用的Spark Pi计算示例的自定义实现,其中包含以下选项:
spark-submit --class JavaSparkPi --master spark://clusterIP:portNum --deploy-mode cluster /path/to/jarfile/JavaSparkPi.jar 10
注意:10是命令行参数,与此问题无关。
我尝试了很多方法来杀死在群集上启动的驱动程序:
Number 2产生成功的JSON响应:
{
"action" : "KillSubmissionResponse",
"message" : "Kill request for driver-xxxxxxxxxxxxxx-xxxx submitted",
"serverSparkVersion" : "1.6.0",
"submissionId" : "driver-xxxxxxxxxxxxxx-xxxx",
"success" : true
}
其中'driver-xxxxxxxxxxxxxx-xxxx'是实际的驱动程序ID。
但是,网络用户界面http://my-cluster-url:8080/仍然显示驱动程序正在运行。
还有什么我可以尝试的吗?