是否有可能将hadoop集群虚拟划分为小集群

Question

我们正在努力构建一个包含100个节点和300 TB存储的大型集群。然后我们必须将其提供给资源受限的不同用户（客户端），即我们不想向每个用户公开完整的集群。可能吗 ？如果不可能的话，还有其他方法可以做到这一点。有内置的解决方案吗？就像按需进行集群分区一样。

Answer 1

在hadoop 2上，有一个HDFS Federation概念，它可以将文件系统名称空间划分为多个分离的名称节点，每个名称节点管理文件系统名称空间的一部分。