Hadoop 1和Hadoop 2之间的差异

Question

据我所知，我知道Hadoop 1和2之间只有一个差异。

其主动和被动辅助名称节点。

有人可以列出Hadoop 1和2之间的区别吗？

Answer 1

Hadoop 1

1. Hadoop 1.x仅支持MapReduce（MR）处理模型。不支持非MR工具。
2. MR执行处理和群集资源管理。
3. 1.x节点的缩放比例有限。每个群集限制为4000个节点。
4. 适用于插槽的概念 - 插槽只能运行Map任务或Reduce任务。
5. 用于管理整个命名空间的单个Namenode。
6. 1.x具有单点故障（SPOF） - 由于单个Namenode-并且在Namenode失败的情况下，需要手动干预才能克服。
7. MR API与Hadoop 1x兼容。用Hadoop1编写的程序在Hadoop1x中执行，没有任何其他文件。
8. 1.x有限制作为事件处理，流媒体和实时操作的平台。

Hadoop 2

1. Hadoop 2.x允许在MR和其他分布式计算模型中工作，如Spark，Hama，Giraph，Message Passing Interface）MPI＆amp; HBase协处理器。
2. YARN（又一个资源谈判者）使用不同的处理模型进行集群资源管理和处理。
3. 2.x具有更好的可扩展性。每个群集最多可扩展到10000个节点。
4. 适用于容器的概念。使用容器可以运行通用任务。
5. 多个Namenode服务器管理多个命名空间。
6. 2.x具有使用备用Namenode克服SPOF的功能，如果Namenode失败，则配置为自动恢复。
7. MR API需要用Hadoop1x编写的程序的其他文件才能在Hadoop2x中执行。
8. 可以作为各种数据分析的平台 - 可以运行事件处理，流媒体和实时操作。

Answer 2

Hadoop2中的Hadoop架构有了重大改进。引入了称为YARN（Yet Another Resource Negotiator）的分布式操作系统层。现在资源（内存和CPU）管理由YARN处理。

此外，HA为NameNode引入。

Answer 3

1）可伸缩性 - 通过将处理在从属服务器上运行的任务的工作委托给应用程序主服务器来减少资源管理器（RM）上的负载，RM现在可以处理比作业跟踪器更多的请求，从而促进添加更多节点。

2）与与MapReduce强耦合的MPv1不同，YARN支持在MR2，Tez，Storm，Spark等上运行的多种代码

3）优化资源分配 - 在YARN中没有为Mapper和Reducers分别分配固定数量的时隙，MRv1就是这种情况。因此，节点的可用容量可用于任何需要资源的任务。

4）当资源管理器发生故障时，恢复资源管理器后，无需再次重新启动集群上运行的作业。

5）故障转移机制由ZK实施，ZK已经是资源管理器的一部分，它说我们不需要运行另一个守护进程。

Please Look for more details here..