我是Kubernetes和Spark环境中的新手。 我被要求在Kubernetes内部署Spark,以便它可以是自动水平调用。
问题是,我无法从官方网站(https://spark.apache.org/docs/latest/running-on-kubernetes#cluster-mode)部署SparkPi示例。
我已经按照说明进行操作,但是吊舱无法执行。 这是解释:
spark-submit --master k8s://https://localhost:6445 --deploy-mode cluster --name spark-pi --class org.apache.spark.examples.SparkPi --conf spark.executor.instances=5 --conf spark.kubernetes.container.image=xnuxer88/spark-kubernetes-bash-test-entry:v1 local:///opt/spark/examples/jars/spark-examples_2.11-2.3.2.jar
获取错误:
Error: Could not find or load main class org.apache.spark.examples.SparkPi
我是否遗忘了任何遗漏的说明?
请帮助。
谢谢。