Question

我在3个Ubuntu系统12.04中安装了多节点设置。我在所有三个中使用Hadoop1.2.1。现在我想要默认运行哪个调度程序??? 如何检查Hadoop1.2.1中运行的默认调度程序？

Answer 1

hadoop中的默认调度程序是JobQueueTaskScheduler，它是一个FIFO调度程序。作为默认计划程序，您需要在mapred-default.xml中引用属性mapred.jobtracker.taskScheduler。如果需要，可以根据需要将默认调度程序更改为CapacityScheduler或FairScheduler。

mapred-site.xml用于覆盖mapred-default.xml中的默认值，该默认值可以在配置目录中找到。您可能无法在配置目录中找到mapred-default文件以及hadoop二进制分发版（rpm，deb等），而是可以直接在jar文件hadoop-core-1.2.1.jar中找到mapred-default.xml。 / p>

hackzon:~/hadoop-1.2.1$ jar -tvf hadoop-core-1.2.1.jar  | grep mapred-default.xml
 47324 Mon Jul 22 15:12:48 IST 2013 mapred-default.xml

这些文件在下面提到的hadoop源文件中用作addDefaultResource()方法的参数

addDefaultResource("mapred-default.xml");   // First
addDefaultResource("mapred-site.xml");   // Second

最初将加载mapred-default.xml，然后加载mapred-site.xml。因此，可以在mapred-site.xml

中指定需要重写的属性

org.apache.hadoop.conf.Configuration.java
org.apache.hadoop.mapred.JobConf.java
org.apache.hadoop.mapred.TaskTracker.java
org.apache.hadoop.mapred.JobClient.java
org.apache.hadoop.mapred.JobTracker.java
org.apache.hadoop.mapred.JobHistoryServer.java

查看任何源代码。

Answer 2

转到您的资源管理器用户界面，在“工具”下单击“配置”，或者只需输入网址即可。将<resource-manager>替换为您的资源管理器域名。

http://<resource-manager>:8088/conf

搜索您想要的任何设置。

Answer 3

经过艰苦的努力，我终于得到了如何检查在Hadoop-1.1.2中运行的调度程序。在运行字数统计工作后，我进入了jobtracker web界面。有工作经历。在作业文件的右侧有一个链接就在那里。单击它，您将获得调度程序，dfs复制等所有内容。

还在hadoop-1.1.2中使用mapred-site.xml文件，我们需要在hadoop-1.1.2的apache文档中添加一些属性。

知道hadoop中默认调度程序的技巧

3 个答案: