Question

我刚接触Hadoop 2.5.1。由于我之前已经安装了Hadoop 1.0.4，我认为安装过程是一样的，所以按照教程进行操作。

http://www.michael-noll.com/tutorials/running-hadoop-on-ubuntu-linux-single-node-cluster/

即使我已经在core-site.xml

中提供了这些设置，但每件事情都很好

<name>fs.default.name</name>

  <value>hdfs://localhost:54310</value>

但我在几个网站上看到这个值为9000。

还有yarn.xml的变化。

当我运行mapreduce工作时，一切正常。但我的问题是

当我运行命令jps时，它给了我这个输出..

hduser@secondmaster:~$ jps

5178 ResourceManager

5038 SecondaryNameNode

4863 DataNode

5301 NodeManager

4719 NameNode

6683 Jps

我在jps中看不到任务跟踪器和作业跟踪器。这些恶魔在哪里奔跑。没有这些deamons我怎么能运行Mapreduce工作。

谢谢，

Sreelatha K。

Answer 1

从hadoop版本hadoop 2.0开始，默认处理框架已从Classic Mapreduce更改为YARN。您正在使用YARN，在YARN中您无法看到Jobtracker，Tasker。 JobTracker和Tasktracker分别由YARN中的资源管理器和Nodemanager取代。

但您仍然可以选择使用Classic Mapreduce框架而不是YARN。

Answer 2

在Hadoop 2中，有一种替代方法可以运行MapReduce作业，称为YARN。由于您在yarn.xml中进行了更改，因此使用YARN进行MapReduce处理，而不是使用传统的MapReduce框架。这可能是您在执行jps命令后没有看到TaskTracker和JobTracker的原因。请注意，ResourceManager和NodeManager是YARN的守护进程。

Answer 3

YARN是下一代资源管理器，能够与Apache spark，storm以及可用于编写map-reduce作业的更多工具集成

在Hadoop单节点安装2.5.1之后无法看到任务跟踪器和Jobtracker

3 个答案: