我在这里检查了很多帖子,但是找不到正确的答案。
实际上,我不太了解Hadoop的“本地”模式和“纱线”模式之间的区别。
yarn
代表MR版本classic
适用于MR版本1 local
用于本地运行MR作业但是在这里,本地代表MR版本1还是版本2?
启动Hadoop框架并使用jps
(JVM工具)进行检查时,每当我使用local
模式或yarn
模式时,总会有ResourceManager
和{ {1}}个进程正在启动。但是,对于MapReduce 1.0(So JobTracker
)不应为ResourceManager
,对于yarn模式不应为local
。那是我不明白的第一件事。
第二,我不太了解为什么在两种模式下我的输出中都会出现shuffle部分?
JobTracker
第三,如果我在本地模式下运行hadoop,会影响Spark的工作吗?据我所知,Spark还使用YARN作为资源管理。所以我可以说,如果我对Hadoop使用“本地”模式,那么Spark会在没有Yarn的情况下运行?
谢谢。