具有光泽的Docker Swarm卷?

时间:2018-06-09 22:03:47

标签: docker hadoop docker-volume

我有一个用于HDFS数据节点的docker swarm设置如下(截断):

select u.*
from (select u.*,
             count(*) over (partition by idcountry, year(birthday)) as cnt_cb,
             rank() over (partition by idcountry order by year(birthday)) as rnk
      from users u
     ) u
where cnt_cb > 1 and rnk = 1;

每个datanode容器都有一个关联的datanode卷,当前存储在/ var / lib / docker / volumes中(每个节点的本地)。我可以访问更大(更快)的光泽文件系统,并且正在寻求了解如何将卷存储在Lustre文件系统上。

一个可能是symlink / var / lib / docker / volumes到/ luster / nodeN(其中N是物理节点号),但似乎namenode无法处理堆栈重启,因为数据会(可能)被移动到另一个节点。

是否存在docker驱动器以支持群集中的光泽文件系统上的docker卷?如果没有,团队如何管理像HDFS这样的系统的docker volume数据持久性?

1 个答案:

答案 0 :(得分:0)

我恐怕不如果我没有误解你,因为driver: lustre或类似的码头配置不存在,就像它存在nfs一样,例如:

volumes:
   db-data:
      driver: local
      driver_opts:
        type: <here is where you could try to put lustre, but it doesn't exist>
        o: addr=$IPADDR,rw
        device: ":/hadoop/dfs/data"

因此,如果您考虑以下架构,请尝试使用 lustre-graph-driver

enter image description here https://github.com/bacaldwell/lustre-graph-driver/blob/master/lustre-graph-driver.jpg

lustre-graph-driver HOWTO

中的更多信息