如果我从Pod中运行以下命令,则我正在Kubernetes上使用Spark(2.4.0):
$SPARK_HOME/bin/spark-submit \
--master k8s://https://master-node \
--deploy-mode cluster \
--name spark-pi \
--class org.apache.spark.examples.SparkPi \
--conf spark.executor.instances=1 \
--conf spark.executor.cores=1 \
--conf spark.kubernetes.container.image=container-image \
local:///opt/spark/examples/jars/spark-examples_2.11-2.4.0.jar 1000000
并使用ctrl + c退出该过程,该应用程序(驱动程序/执行程序)保持运行。这是流作业中的一个问题,当客户端pod终止时,应用程序将继续运行。