我有一组安装了Hadoop的PC。服务很好,我执行了很多工作没有问题。出于研究目的,我将作业日志发送到JobHistoryServer服务。
对于一项工作,历史服务没有保存统计数据。如果我执行其他Job,使用相同的配置,则会保存统计信息。但我重新运行这个Job,而历史服务器不保存统计数据。
历史服务器日志(文件mapred-hduser-historyserver-master.log):
2017-05-13 11:28:59,634 INFO org.apache.hadoop.mapreduce.v2.hs.JobHistory: Starting scan to move intermediate done files
2017-05-13 11:31:59,634 INFO org.apache.hadoop.mapreduce.v2.hs.JobHistory: Starting scan to move intermediate done files
2017-05-13 11:34:59,634 INFO org.apache.hadoop.mapreduce.v2.hs.JobHistory: Starting scan to move intermediate done files
2017-05-13 11:37:59,634 INFO org.apache.hadoop.mapreduce.v2.hs.JobHistory: Starting scan to move intermediate done files
2017-05-13 11:40:59,634 INFO org.apache.hadoop.mapreduce.v2.hs.JobHistory: Starting scan to move intermediate done files
我的问题是:如何开始调试正在发生的事情?
更多数据:
答案 0 :(得分:0)
好吧,最后我发现了问题。其中一名工人的更新日期已经过时。我设置了正确的日期,历史记录服务器正确保存了作业日志。