Question

我目前正在尝试在IBM Cloud上运行的Kubernetes集群上部署spark示例jar。我对这两者都不是很有经验，所以我希望你们能帮助我。

如果我尝试按照这些说明在kubernetes集群（https://spark.apache.org/docs/latest/running-on-kubernetes）上部署spark，我无法启动Spark Pi，因为我总是收到错误消息

系统找不到指定的文件

输入代码后

bin/spark-submit \
    --master k8s://<url of my kubernetes cluster> \
    --deploy-mode cluster \
    --name spark-pi \
    --class org.apache.spark.examples.SparkPi \
    --conf spark.executor.instances=5 \
    --conf spark.kubernetes.container.image=<spark-image> \
    local:///examples/jars/spark-examples_2.11-2.3.0.jar

虽然我在正确的目录中，因此该文件存在于examples / jars目录中。

我非常感谢你的帮助！

Answer 1

确保your.jar文件存在于容器图像中。

Instruction告诉它应该在那里：

最后，请注意在上面的例子中我们指定了一个带有a的jar 方案为local：//的特定URI。这个URI是的位置示例jar 已经在Docker镜像中。

Answer 2

请确保此绝对路径/examples/jars/spark-examples_2.11-2.3.0.jar存在。

或者您正在尝试在当前目录中加载jar文件，在这种情况下，它应该是local://./examples/jars/spark-examples_2.11-2.3.0.jar之类的相对路径。

我不确定spark-submit是否接受相对路径。

在kubernetes集群上部署spark jar

2 个答案: