任何支持恒定时间克隆的分布式文件系统

时间:2012-02-22 06:45:33

标签: filesystems distributed-computing distributed-system

  1. 光泽或谷歌文件系统(GFS)将文件拆分成某种块,并将它们保存到各个节点。因此,它们可以实现可扩展性,分布式流量。
  2. ZFS,btrfs,wafl支持恒定时间克隆。通过这种方式,他们可以实现克隆速度,可写快照,节省存储空间。
  3. 我已经建立了支持上述两个功能的任何文件系统。

    虽然有很多文件系统支持恒定时间克隆。但我找不到任何可以支持恒定时间克隆的分布式文件系统。 Lustre团队看起来像开发支持zfs的光泽(并且还支持克隆)。但它显示了(此外它不包括2.0测试版,也许它不会在短时间内显示)。 Nexenta存储似乎通过“namespace nfs”支持这些功能。但事实并非如此。它只是按文件级分发来分发文件。这意味着,如果某个文件超过一个节点的卷大小,它将无法处理它。如果很多克隆文件增长到大文件,他们就无法处理(至少,他们必须真正将原始文件复制(不是阴影节点)到其他节点。也许我可以将SAN磁盘附加到ZFS节点的zvolume。但我非常担心ZFS节点的集中流量。

    所以我正在寻找一个可以处理上述两个问题的文件系统或解决方案。

1 个答案:

答案 0 :(得分:0)

一个有效的解决方案是将Lustre文件系统与Robinhood Policy Engine in backup mode结合使用,以不断备份文件系统文件。此模式可以将Lustre v2.x文件系统备份到外部存储。它根据管理员定义的迁移策略,通过Lustre 2+ changelogs功能(FS事件)跟踪文件系统中的修改,并将修改后的文件复制到后端存储。您可以在Robinhood中配置自己的upcall命令,例如,提供一种可扩展的方法来克隆文件系统并在多个节点上安排同步任务。

使用LFS上的Lustre,应该可以使用ZFS快照功能,但即使是ZFS堆栈还没有准备好进行生产(目前在LLNL的顶级1台超级计算机 Sequoia 上进行了测试)。