我有一个用于HDFS数据节点的docker swarm设置如下(截断):
select u.*
from (select u.*,
count(*) over (partition by idcountry, year(birthday)) as cnt_cb,
rank() over (partition by idcountry order by year(birthday)) as rnk
from users u
) u
where cnt_cb > 1 and rnk = 1;
每个datanode容器都有一个关联的datanode卷,当前存储在/ var / lib / docker / volumes中(每个节点的本地)。我可以访问更大(更快)的光泽文件系统,并且正在寻求了解如何将卷存储在Lustre文件系统上。
一个可能是symlink / var / lib / docker / volumes到/ luster / nodeN(其中N是物理节点号),但似乎namenode无法处理堆栈重启,因为数据会(可能)被移动到另一个节点。
是否存在docker驱动器以支持群集中的光泽文件系统上的docker卷?如果没有,团队如何管理像HDFS这样的系统的docker volume数据持久性?
答案 0 :(得分:0)
我恐怕不如果我没有误解你,因为driver: lustre
或类似的码头配置不存在,就像它存在nfs
一样,例如:
volumes:
db-data:
driver: local
driver_opts:
type: <here is where you could try to put lustre, but it doesn't exist>
o: addr=$IPADDR,rw
device: ":/hadoop/dfs/data"
因此,如果您考虑以下架构,请尝试使用 lustre-graph-driver
https://github.com/bacaldwell/lustre-graph-driver/blob/master/lustre-graph-driver.jpg
中的更多信息