当进程在Kubernetes上终止时,spark-submit不会终止驱动程序

时间:2019-01-01 16:59:11

标签: apache-spark kubernetes

如果我从Pod中运行以下命令,则我正在Kubernetes上使用Spark(2.4.0):

$SPARK_HOME/bin/spark-submit \
    --master k8s://https://master-node \
    --deploy-mode cluster \
    --name spark-pi \
    --class org.apache.spark.examples.SparkPi \
    --conf spark.executor.instances=1 \
    --conf spark.executor.cores=1 \
    --conf spark.kubernetes.container.image=container-image \
    local:///opt/spark/examples/jars/spark-examples_2.11-2.4.0.jar 1000000

并使用ctrl + c退出该过程,该应用程序(驱动程序/执行程序)保持运行。这是流作业中的一个问题,当客户端pod终止时,应用程序将继续运行。

0 个答案:

没有答案