Question

我在hadoop2.7.2中运行了2个奴隶的工作后，我可以在终端看到一个结果，但在master：19888 / jobhistory是什么都没有。我上传了图片和我的配置文件。 job history webui 19888

这是我的配置文件。 core.site.xml

<property>
    <name>fs.default.name</name>
    <value>hdfs://master:9000</value>    
</property>

   <property>
    <name>hadoop.tmp.dir</name>
    <value>/app/hadoop/tmp</value> 
</property>

hdfs.site.xml

<property>
<name>dfs.replication</name>
<value>2</value>
</property>

<property>
<name>dfs.name.dir</name>
<value>file:/usr/local/hadoop/hadoop_tmp/hdfs/namenode</value>
</property>

<property>
<name>dfs.data.dir</name>
<value>file:/usr/local/hadoop/hadoop_tmp/hdfs/datanode</value>
</property>

mapred.site.xml

<property>
    <name>mapred.job.tracker</name>
    <value>master:54311</value>    
</property>

<property>
    <name>mapred.framework.name</name>
    <value>yarn</value>
</property>

<property>
<name>mapred.jobhistory.address</name>
<value>master:10020</value>
</property>

yarn.site.xml

<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>


<property>
<name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
<value>org.apache.hadoop.mapred.ShuffleHandler</value>
</property>

<property>
<name>yarn.resourcemanager.resource-tracker.address</name>
<value>master:8025</value>
</property>

<property>
<name>yarn.resourcemanager.scheduler.address</name>
<value>master:8035</value>
</property>

<property>
<name>yarn.resourcemanager.address</name>
<value>master:8050</value>
</property>

Answer 1

mapreduce.framework.name

中的属性为mapred-site.xml

<property>
    <name>mapreduce.framework.name</name>
    <value>yarn</value>
</property>

当前属性mapred.framework.name无效且无法识别。因此，作业以local模式提交。 jobhistoryserver不会跟踪本地运行的作业。

修改属性名称并重新启动服务。

hadoop2.7.2多节点的工作历史webui-19888显示工作完成后注意到

1 个答案: