Question

我所知道的是YARN，它取代了JobTracker和TaskTracker。

我见过一些Hadoop 2.6.0 / 2.7.0安装教程，他们将mapreduce.framework.name配置为yarn和mapred.job.tracker属性作为本地或host：port。

mapred.job.tracker属性的说明是

＆＃34; MapReduce作业跟踪器运行的主机和端口。如果＆＃34; local＆＃34;，然后，作业将在进程中作为单个映射运行并减少任务。＆＃34;

我怀疑是为什么要配置它，如果我们使用YARN，我的意思是JobTracker不应该正常运行？

如果我的问题很愚蠢，请原谅我。

编辑：这些是我正在谈论的教程。

http://chaalpritam.blogspot.in/2015/01/hadoop-260-multi-node-cluster-setup-on.html

http://pingax.com/install-apache-hadoop-ubuntu-cluster-setup/

https://chawlasumit.wordpress.com/2015/03/09/install-a-multi-node-hadoop-cluster-on-ubuntu-14-04/

Answer 1

这只是一个猜测，但是那些关于在YARN中配置JobTracker的教程是由不知道YARN是什么的人编写的，或者他们设置它以防你决定有一天停止使用YARN。你是对的：YARN中不存在JobTracker和TaskTracker。您可以根据需要添加属性，但会忽略它们。替换JobTracker和TaskTracker的每个组件的新属性都添加了YARN，例如yarn.resourcemanager.address以替换mapred.jobtracker.address。

如果在YARN下运行Hadoop时列出了Java进程，则看不到JobTracker或TaskTracker：

10561 Jps
20605 NameNode
17176 DataNode
18521 ResourceManager
19625 NodeManager
18424 JobHistoryServer

您可以阅读有关how YARN works here的更多信息。

为什么我们在YARN中配置mapred.job.tracker？

1 个答案: