我尝试了三种杀死它的方法,但没有成功。
kill
链接,有时主人和作品的进程已被删除。Exception in thread "main" org.apache.spark.deploy.rest.SubmitRestConnectionException: Unable to connect to server
at org.apache.spark.deploy.rest.RestSubmissionClient$$anonfun$killSubmission$3.apply(RestSubmissionClient.scala:130)
Use ./bin/spark-submit with "--master spark://host:port"
并在短时间内完成。答案 0 :(得分:1)
从spark UI获取正在运行的driverId,并点击post rest调用(spark主休息端口,如6066)来终止管道。
curl -X POST http://localhost:6066/v1/submissions/kill/driverId
希望有所帮助