如何创建分布式文件系统

时间:2015-11-27 20:05:04

标签: distributed fs dfs

为了自学,我决定实施" hello world" 分布式文件系统。最简单的一个。并决定在这个主题下阅读理论。 但是......当我向谷歌询问这个时,它会显示答案,例如"如何配置hdfs"或者"如何在Windows上设置分布式fs"什么不是我感兴趣的...

有人可以指点我关于这个主题的一些好文章或书籍。 非常感谢!

1 个答案:

答案 0 :(得分:2)

好吧,如果你真的决定实现这样的文件系统,你必须从分布式系统开始。我建议阅读Tanenbaum参考书http://www.distributed-systems.net/index.php?id=distributed-systems-principles-and-paradigms

小心,主题非常复杂,分布式系统实现起来非常简单。

如果您想查看一些已经实现的分布式文件系统,可以查看GFS/GFS2(来自RedHat)。你也可以从oracle看看ocfs2。 您还可以查看gluster https://fr.wikipedia.org/wiki/GlusterFS

您也可以在google file system上找到一些白皮书(当它还是大学时)。

这种分布式系统的主要问题是故障检测(检测节点在文件系统上写入时崩溃=>需要确保没有损坏)。有多种策略,一种可能是实现受分布式锁保护的日志。

另一个很好的(经典)问题是' split brain'问题,当群集由于网络故障而分成两组时(想象一个断开的交换机)。两个小组都认为'另一个人死了(他们无法与之通信)但是没有办法确保远程组没有写入导致数据分歧的数据。

希望你能找到你想要的东西。