YARN和NameNode何时进行交互

时间:2018-06-11 05:32:31

标签: hadoop hdfs yarn namenode

提交作业时,YARN和NameNode何时进行交互?提交作业时,会将其发送给谁?有人可以解释端到端流程 - hadoop生态系统如何运作?

谢谢!

2 个答案:

答案 0 :(得分:1)

Namenode :存储数据节点中存储的所有数据的元数据,并监控数据节点的运行状况。基本上,它是一个主从架构。

YARN :它代表Yet Another Resource Negotiator。纱线主要有两种成分。

1>调度

2>应用程序管理器

Yarn还包含主服务器,即资源管理器和从服务器,即节点管理器。

出于安排目的,有3个调度程序

1.> FIFO 2.>容量3.>公平沙皮ë

在节点管理器下,资源管理器分配了一个名为Application Master的组件。

将一个应用程序主数据分配给一个应用程序。

现在,只要作业进入,资源管理器就会创建一个作业ID并为该作业分配一个Application Master。资源管理器与Namenode联系以检索有关必须在其上执行任务的所需数据的元数据的信息。然后,资源管理器收到的信息将传递给Application Master。

这是Yarn with Namenode工作的基本概述。您还可以从以下网址详细阅读:

YARN

答案 1 :(得分:0)

基本上YARN和HDFS之间没有直接的互动,请参阅https://hadoop.apache.org/docs/current/hadoop-yarn/hadoop-yarn-site/YARN.html

但是,YARN作业需要一些通常驻留在HDFS上的文件(库,配置等)