在JobHistory UI中无法从春季看到MapReduce作业

时间:2018-07-18 08:53:40

标签: spring hadoop hadoop2 spring-data-hadoop

我有一个运行在Unix上且具有单节点的Hadoop 2.9.1。

这是jps输出:

  

[hadoop @ myServer mr-batch] $ jps

     

25104 SecondaryNameNode

     

18739 Jps

     

24756 NameNode

     

22453 JobHistoryServer

     

24909 DataNode

     

25437 NodeManager

     

25311 ResourceManager

我的目标是能够使用Spring将MR作业提交到我的Hadoop集群。

我已经使用本教程运行了一个简单的MR作业: https://hadoop.apache.org/docs/r2.9.1/hadoop-mapreduce-client/hadoop-mapreduce-client-core/MapReduceTutorial.html

现在,我正在尝试使用spring客户端运行MR简单作业,因此我已经从Git下载并运行了该项目: https://github.com/spring-projects/spring-hadoop-samples/tree/master/mr-batch

我只需要在hadoop.properties文件中将hdfs端口从8020更改为9000,它的工作就像一个魅力。 问题是我在JobHistory服务器UI中看不到它: http://myServer:19888/jobhistory/

我只看到我作为“普通” Hadoop运行的MR工作: hadoop jar ...(第一个教程)。

我在这里想念什么? 它会去别的地方吗?我需要更改其他配置吗?

0 个答案:

没有答案