Question

在Hadoop 2.7.5上运行并发布简单的Pig（0.17.0）脚本。成功完成工作后，我收到以下消息：

    INFO  org.apache.hadoop.yarn.client.RMProxy - Connecting to 
    ResourceManager at hadoop-master/172.26.0.2:8032
    2019-04-29 15:03:14,516 [main] INFO  
    org.apache.hadoop.mapred.ClientServiceDelegate - Application 
    state is completed. FinalApplicationStatus=SUCCEEDED. 
    Redirecting to job history server
    2019-04-29 15:03:14,877 [main] INFO  
    org.apache.hadoop.yarn.client.RMProxy - Connecting to 
    ResourceManager at hadoop-master/172.26.0.2:8032
    2019-04-29 15:03:14,880 [main] INFO  
    org.apache.hadoop.mapred.ClientServiceDelegate - Application 
    state is completed. FinalApplicationStatus=SUCCEEDED. 
    Redirecting to job history server.

奇怪的是，在这些之后，正确的输出显示在底部。

一些搜索后，表明以下设置：

<property>
   <name>yarn.log-aggregation-enable</name>
   <value>true</value>
</property>

<property>
    <name>mapreduce.jobhistory.address</name>
    <value>hadoop-master:10020</value>
    <description>Default port is 10020.</description>
</property>

<property>
    <name>mapreduce.jobhistory.webapp.address</name>
    <value>hadoop-master:19888</value>
    <description>Default port is 19888.</description>
</property>

使用命令启动JobHistoryServer。 $HADOOP_HOME/sbin/mr-jobhistory-daemon.sh start historyserver

但是应用程序状态已完成。 FinalApplicationStatus = SUCCEEDED 继续。

可以与版本相关吗？还是PIG确实需要询问JobHistory服务？

谢谢。

猪显示FinalApplicationStatus = SUCCEEDED。重定向到作业历史服务器

0 个答案: