我有一个运行在Unix上且具有单节点的Hadoop 2.9.1。
这是jps输出:
[hadoop @ myServer mr-batch] $ jps
25104 SecondaryNameNode
18739 Jps
24756 NameNode
22453 JobHistoryServer
24909 DataNode
25437 NodeManager
25311 ResourceManager
我的目标是能够使用Spring将MR作业提交到我的Hadoop集群。
我已经使用本教程运行了一个简单的MR作业: https://hadoop.apache.org/docs/r2.9.1/hadoop-mapreduce-client/hadoop-mapreduce-client-core/MapReduceTutorial.html
现在,我正在尝试使用spring客户端运行MR简单作业,因此我已经从Git下载并运行了该项目: https://github.com/spring-projects/spring-hadoop-samples/tree/master/mr-batch
我只需要在hadoop.properties文件中将hdfs端口从8020更改为9000,它的工作就像一个魅力。 问题是我在JobHistory服务器UI中看不到它: http://myServer:19888/jobhistory/
我只看到我作为“普通” Hadoop运行的MR工作: hadoop jar ...(第一个教程)。
我在这里想念什么? 它会去别的地方吗?我需要更改其他配置吗?