HDFS联合：在多个Name节点之间提交Map Reduce作业

Question

根据Hdfs Federation上的Apache文档，系统可以通过单独的多个名称节点的联合进行扩展。

多个名称节点/命名空间

为了横向扩展名称服务，联合使用多个独立的Namenodes /名称空间。 Namenodes是联合的; Namenodes是独立的，不需要相互协调。 Datanodes用作所有Namenode的块的公共存储。

我唯一怀疑：

我没有在Name节点中看到任何中央协调器，因为所有节点都在运行隔离。对如何提交和处理工作感到困惑。

1）如果我提交了map-reduce作业，Name Node会处理它吗？ OR

2）客户端是否应该知道必须提交作业的Name节点？

如果客户端不知道哪个名称节点，则应该有一些“主名称节点”来处理将作业分配给特定名称节点。

它是如何运作的？

提前致谢。

Answer 1

Hadoop联盟是HDFS的一部分。 map-reduce程序执行等由纱线监控。

Yarn有一个资源管理器来处理这项工作。资源管理器可以与名称节点（在这种情况下全部为三个）进行通信，并获取数据存在的地址。这是NameNode进入画面的唯一一点。

因此客户端无需向NameNode提交作业。他将把它提交给资源经理。