在dock swarm模式下通过docker-compose部署spark集群

时间:2017-02-20 21:29:33

标签: apache-spark docker docker-compose docker-swarm docker-swarm-mode

我正在尝试使用在docker swarm模式下工作的机器上定义heredocker-compose文件来部署我的apache spark集群。

我正在我的docker swarm manager机器上调用docker stack deploy -c compose-file.yml spark_cluster以按照定义部署我的服务但是当我点击docker stack ps spark_cluster时我得到以下情况:

ID            NAME                        IMAGE                           NODE           DESIRED STATE  CURRENT STATE               ERROR                             PORTS
iy255fvx5ub8  spark_cluster_master.1      sauloricci/docker-spark:latest  manager-swarm  Running        Running 20 seconds ago
mrr6p9dmodh5   \_ spark_cluster_master.1  sauloricci/docker-spark:latest  worker2-swarm  Shutdown       Rejected 35 seconds ago     "invalid mount config for type�"
u1daipeekanv   \_ spark_cluster_master.1  sauloricci/docker-spark:latest  worker2-swarm  Shutdown       Rejected 40 seconds ago     "invalid mount config for type�"
9yup3zxpk4ur   \_ spark_cluster_master.1  sauloricci/docker-spark:latest  worker2-swarm  Shutdown       Rejected 45 seconds ago     "invalid mount config for type�"
is4dib7wmb61   \_ spark_cluster_master.1  sauloricci/docker-spark:latest  worker1-swarm  Shutdown       Rejected 50 seconds ago     "invalid mount config for type�"
y80py4s4hny8  spark_cluster_worker.1      sauloricci/docker-spark:latest  manager-swarm  Running        Running about a minute ago

看来swarm刚刚接受了我的swarm管理器节点上运行的服务,并拒绝了我的工作群集节点。

我如何设法找到与此方案关联的日志?如果是这种情况,我在哪里可以检查与此部署相关的日志?我想知道错误列中消息的确切含义。

2 个答案:

答案 0 :(得分:1)

使用docker stack ps <STACK> --no-trunc获取错误消息的全文。

https://docs.docker.com/engine/reference/commandline/stack_ps/

答案 1 :(得分:0)

确保您的.yml文件不包含卷,因为每个服务器都有不同的本地文件夹,请为我工作