运行mapreduce hadoop作业时，应用程序中没有显示应用程序？

Question

我正在使用Hadoop2.2。我看到我的工作顺利完成。我可以浏览文件系统来查找输出。但是，当我浏览http://NNode:8088/cluster/apps时，我无法看到任何已完成的应用程序（我运行了3个wordcount作业，但这里没有看到它们。）

是否需要考虑任何配置？

以下是yarn-site.xml

<property>
        <name>yarn.resourcemanager.hostname</name>
        <value>NNode</value>
    </property>
    <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </property>
<!--
  <property>
    <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
    <value>org.apache.hadoop.mapred.ShuffleHandler</value>
  </property>
-->

以下是mapred-site.xml：

<property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>

我也有运行作业历史记录服务器：

jps
4422 NameNode
5452 Jps
4695 SecondaryNameNode
4924 ResourceManager
72802 Jps
5369 JobHistoryServer

Answer 1

申请完成后，他们的责任可能会转移到Job History Server。请检查Job History Server网址。它通常在端口19888上侦听。 E.g。

http://<job_history_server_address>:19888/jobhistory

日志目录和日志保留持续时间可在yarn-site.xml中配置。使用YARN，即使可以将日志聚合到单个（可配置的）位置。

有时，即使列出了应用程序，日志也不可用（我不确定它是否由于YARN中的某些错误而导致）。但是，几乎每次我都能使用命令行获取日志：

  

yarn logs -applicationId the_application_id

虽然有多种选择。使用帮助了解详细信息：

  

纱线日志 - 帮助

Answer 2

您可以参考Hadoop is not showing my job in the job tracker even though it is running

                    conf.set("fs.defaultFS", "hdfs://master:9000");
                    conf.set("mapreduce.jobtracker.address", "master:54311");
                    conf.set("mapreduce.framework.name", "yarn");
                    conf.set("yarn.resourcemanager.address", "master:8032");

我在我的群集中测试过。它有效！