为什么我们必须在hadoop中使用多个节点?

时间:2016-08-13 17:56:29

标签: hadoop bigdata

我是大数据和hadoop的新手。有一些学习课程,看到这张图片: enter image description here

它说使用一台机器可以让进度更快[第一个] 我无法理解为什么我们要涉及几个节点? =)

1 个答案:

答案 0 :(得分:0)

支持以三种模式运行的hadoop的原因已在本博客“Hadoop Modes”中描述,这很容易理解。 以下是独立模式更快运行的秘诀:

  

在独立模式下,没有Hadoop守护进程(NameNode,DataNode,   Secondary NameNode,JobTracker&正在运行的TaskTracker)   背景

     

结果你会,

     
      
  • 没有NameNode存储元数据信息。
  •   
  • 没有DataNode,因为没有HDFS。该文件将本地存储在硬盘上。
  •   
  • 没有TaskTracker发送状态报告JobTracker。
  •   
  • 没有JobTracker,因为没有TaskTrackers可以管理。
  •   
     

顾名思义,独立模式下的所有内容都以单一格式运行   JVM (单机)。它最适合您想要测试   用于小输入(本地存储)的错误的程序。它也是众所周知的   作为 LocalJobRunner模式

有关详细信息,请阅读 Tom White 的O'Reilly的 Hadoop:权威指南 一书。