如何使用Spark 2.4将本地执行器作业上传到远程Kubernetes?

时间:2018-11-28 07:34:33

标签: apache-spark kubernetes spark-submit

根据此document,我可以使用以下命令将本地jar文件上传到远程Kubernetes集群:

$ bin/spark-submit \
    --master k8s://https://<k8s-apiserver-host>:<k8s-apiserver-port> \
    --deploy-mode cluster \
    --name spark-pi \
    --class org.apache.spark.examples.SparkPi \
    --conf spark.executor.instances=5 \
    --conf spark.kubernetes.container.image=<spark-image> \
    local:///path/to/examples.jar

但是,该命令无法上传我的本地jar文件。然后我意识到link中有一段说:

Note that using application dependencies from the submission client’s local file system is currently not yet supported.

对此有任何解决方法吗?如何将我的本地executor作业jar文件上传到远程Kubernetes集群?

0 个答案:

没有答案