Hadoop:节点的概念及其工作机制

时间:2015-02-09 09:16:22

标签: hadoop hadoop2

我刚刚开始学习hadoop(基于2.6.0),但仍然难以全面了解hadoop的物理和逻辑结构。

我找到的所有参考文献都使用了术语" node"像主/从节点和名称/数据节点,但我找不到这些"节点"的明确定义。从他们中没有一个。 (也许我错过了细节...)

我想知道的是,主/从"节点"物理机器和名称/数据的条款"节点"管理实际数据的流程条款?

我的第二个问题是,这些节点如何相互通信?我所知道的是,他们需要ssh进行沟通,但仅限于此。如果我知道他们如何实际相互沟通以了解其架构,那将非常有用。

PS。是否有任何好的在线参考研究hadoop?对我来说,hadoop网站对我这样的初学者来说太不友好了,到目前为止我发现的博客有时候也没有信息。请分享一些好资源!

1 个答案:

答案 0 :(得分:1)

  

是主/从"节点"物理机器和名称/数据的术语   "节"管理实际数据的流程条款?

嗯,namenode datanode等是在物理机器上运行的hadoop守护程序服务。因此,如果您的群集中有运行namenode服务的系统,则称其为namenode。单个节点可以运行多个服务,即它可以运行namenode和datanode,尽管在生产设置中它没有完成,因为我们不希望运行namenode服务的机器负担过重。由于您使用的是hadoop 2.6,因此您可能还需要查看YARN architecture以了解作业的执行方式

  

这些节点如何相互通信?我所知道的是他们需要的   ssh用于沟通,但不多于此。

看看this。 Datanode使用DatanodeProtocol与Namenode进行通信。此接口提供发送心跳消息,新数据节点注册,块报告等的功能。客户端使用DataTransferProtocol与Datanode通信。该接口提供读取块,写入块,复制块等的能力。

  

有没有好的在线参考研究hadoop?

看看thisthis - 可能与新架构略有不同,但仍然可以阅读。 bigdatauniversity为初学者提供了很多课程。