将Spark部署到Kubernetes集群中

时间:2018-10-03 09:05:27

标签: apache-spark kubernetes

我是Kubernetes和Spark环境中的新手。 我被要求在Kubernetes内部署Spark,以便它可以是自动水平调用。

问题是,我无法从官方网站(https://spark.apache.org/docs/latest/running-on-kubernetes#cluster-mode)部署SparkPi示例。

我已经按照说明进行操作,但是吊舱无法执行。 这是解释:

  1. 已经运行:Kubectl代理 Kubectl proxy

  2. 执行时:

spark-submit --master k8s://https://localhost:6445 --deploy-mode cluster --name spark-pi --class org.apache.spark.examples.SparkPi --conf spark.executor.instances=5 --conf spark.kubernetes.container.image=xnuxer88/spark-kubernetes-bash-test-entry:v1 local:///opt/spark/examples/jars/spark-examples_2.11-2.3.2.jar

获取错误: Error: Could not find or load main class org.apache.spark.examples.SparkPi When executing Spark-Submit Pods Logs

  1. 当我检查docker映像(从相关映像创建容器)时,我找到了文件。 File exists

我是否遗忘了任何遗漏的说明?

请帮助。

谢谢。

0 个答案:

没有答案