Hadoop:“本地”和“纱线”之间的区别

时间:2019-03-25 14:20:06

标签: hadoop yarn

我在这里检查了很多帖子,但是找不到正确的答案。

实际上,我不太了解Hadoop的“本地”模式和“纱线”模式之间的区别。

  • yarn代表MR版本
  • classic适用于MR版本1
  • local用于本地运行MR作业

但是在这里,本地代表MR版本1还是版本2?

启动Hadoop框架并使用jps(JVM工具)进行检查时,每当我使用local模式或yarn模式时,总会有ResourceManager和{ {1}}个进程正在启动。但是,对于MapReduce 1.0(So JobTracker)不应为ResourceManager,对于yarn模式不应为local。那是我不明白的第一件事。

第二,我不太了解为什么在两种模式下我的输出中都会出现shuffle部分?

JobTracker

第三,如果我在本地模式下运行hadoop,会影响Spark的工作吗?据我所知,Spark还使用YARN作为资源管理。所以我可以说,如果我对Hadoop使用“本地”模式,那么Spark会在没有Yarn的情况下运行?

谢谢。

0 个答案:

没有答案