创建群集文件服务器系统

Question

我目前有3个Fileserver，每个都有一个由24个磁盘组成的raid 6阵列。

问题是，有没有办法让它们作为一个大驱动器而不是3个单独的系统工作。我需要更多的吞吐量，我认为这是可能的。也许像Hadoop这样的Distrubted Filesystem？

Answer 1

答案取决于此硬件上数据的预期用途。 Hadoop文件系统HDFS - 非常适合Map-Reduce处理的特殊需求。主要限制，可用于其预期用途，但对其他用户有问题的是：
a）无法编辑文件，但只能附加文件。
b）存在许多小文件存在问题。它适用于64 MB或更大的文件。导致此限制的原因是所有元数据都存储在内存中。
c）它不是posix兼容的FS，所以你不能安装它并且不知道HDFS的应用程序用作常规文件系统。

我会考虑像GlusterFS，Ceph或Lustre这样的选项，这些选项是为类似于你描述的情况而构建的。需要更多信息来提供选择其中一个的好建议。