提交作业时,YARN和NameNode何时进行交互?提交作业时,会将其发送给谁?有人可以解释端到端流程 - hadoop生态系统如何运作?
谢谢!
答案 0 :(得分:1)
Namenode :存储数据节点中存储的所有数据的元数据,并监控数据节点的运行状况。基本上,它是一个主从架构。
YARN :它代表Yet Another Resource Negotiator。纱线主要有两种成分。
1>调度
2>应用程序管理器
Yarn还包含主服务器,即资源管理器和从服务器,即节点管理器。
出于安排目的,有3个调度程序:
1.> FIFO 2.>容量3.>公平沙皮ë
在节点管理器下,资源管理器分配了一个名为Application Master的组件。
将一个应用程序主数据分配给一个应用程序。
现在,只要作业进入,资源管理器就会创建一个作业ID并为该作业分配一个Application Master。资源管理器与Namenode联系以检索有关必须在其上执行任务的所需数据的元数据的信息。然后,资源管理器收到的信息将传递给Application Master。
这是Yarn with Namenode工作的基本概述。您还可以从以下网址详细阅读:
答案 1 :(得分:0)
基本上YARN和HDFS之间没有直接的互动,请参阅https://hadoop.apache.org/docs/current/hadoop-yarn/hadoop-yarn-site/YARN.html
但是,YARN作业需要一些通常驻留在HDFS上的文件(库,配置等)