Question

我有3个节点[主机a，主机b，主机c] kubernetes集群（版本1.12.2）。我正在尝试运行kubernetes document中提到的spark-pi示例jar。

主机a是我的kubernetes主服务器。 >> kubectl get节点列出了所有三个节点。

我已经使用spark 2.3.0二进制文件夹中提供的内容构建了spark docker映像。

>> sudo ./bin/docker-image-tool.sh -r docker.io/spark/spark -t spark230 build

我收到消息，成功构建了图像。

>> docker images ls

REPOSITORY                           TAG                 IMAGE ID            CREATED             SIZE
docker.io/spark/spark                spark230            6a2b645d7efe        About an hour ago   346 MB
docker.io/weaveworks/weave-npc       2.5.0               d499500e93d3        7 days ago          49.5 MB
docker.io/weaveworks/weave-kube      2.5.0               a5103f96993a        7 days ago          148 MB
docker.io/openjdk                    8-alpine            97bc1352afde        2 weeks ago         103 MB
k8s.gcr.io/kube-proxy                v1.12.2             15e9da1ca195        2 weeks ago         96.5 MB
k8s.gcr.io/kube-apiserver            v1.12.2             51a9c329b7c5        2 weeks ago         194 MB
k8s.gcr.io/kube-controller-manager   v1.12.2             15548c720a70        2 weeks ago         164 MB
k8s.gcr.io/kube-scheduler            v1.12.2             d6d57c76136c        2 weeks ago         58.3 MB
k8s.gcr.io/etcd                      3.2.24              3cab8e1b9802        7 weeks ago         220 MB
k8s.gcr.io/coredns                   1.2.2               367cdc8433a4        2 months ago        39.2 MB
k8s.gcr.io/pause                     3.1                 da86e6ba6ca1        10 months ago       742 kB

> ./bin/spark-submit     
 --master k8s://https://<api-server>:<api
> server port>      --deploy-mode cluster      --name spark-pi     
> --class org.apache.spark.examples.SparkPi       --conf spark.executor.instances=5     --conf
> spark.kubernetes.container.image=spark/spark:spark230    --conf
> spark.kubernetes.authenticate.driver.serviceAccountName=spark   
> local:///opt/spark/examples/jars/spark-examples_2.11-2.3.0.jar

当我提交上述命令时，有时会给出正确的输出。其他时候，它抛出错误以下。

>  code = Unknown desc = repository docker.io/spark/spark not found:
 does not exist or no pull access, reason=ErrImagePull

当我进一步调试它时，它看起来就像每当节点名称：host b或host c抛出错误消息时一样。

当节点名称：承载a时，它将运行正常。看起来其他节点无法找到图像。

问题：

我应该在所有节点上安装spark并在所有节点上构建docker映像吗？
是否可以将图像参考从单个节点[主机a]传递到其他节点？即如何使其他节点从主机a引用同一张图片。

Answer 1

您始终可以将docker映像另存为tar文件，然后将该tar文件复制到其他主机并在其中加载该映像。

要将docker映像另存为tar文件：

sudo docker save -o <path for generated tar file> <image name>

现在使用scp或其他一些复制工具将tar文件复制到其他主机。并使用以下命令加载docker映像：

sudo docker load -i <path to image tar file>

希望这会有所帮助

Answer 2

是的，您需要在所有节点中构建Spark映像。您可以编写包装器脚本以在所有节点上调用“ rebuild-image.sh”，如下所示：

for h in hostnames; do
    rsync -av /opt/spark ${h}:/opt
    ssh ${h} /opt/spark/rebuild-image.sh

kubernetes无法从Spark Master主机提取图像

2 个答案: