Spring Hadoop |作业未出现在Job Tracker GUI上

时间:2012-10-25 07:00:20

标签: spring hadoop

我正在为我的应用程序使用Spring for Apache Hadoop 1.0.0.M2。应用程序使用maven程序集插件打包为二进制分发,并使用以下命令在集群上运行: java -jar mlprocessor.jar

jar中的清单文件包括对加载spring上下文文件的Main类的引用。工作执行得很好,我也看到了结果。但是,Job Tracker GUI上没有此工作的痕迹。

日志显示以下警告:WARN [org.apache.hadoop.util.NativeCodeLoader] - 无法为您的平台加载native-hadoop库...使用适用的builtin-java类

我想检查是否有人知道这个问题,或者有些东西我不知道。

感谢。

1 个答案:

答案 0 :(得分:0)

我在Spring Hadoop论坛(http://forum.springsource.org/showthread.php?131245-Job-not-appearing-on-JobTracker-user-interface)上发布了相同的问题并在那里收到了答案:

我在hdp:configuration中缺少'mapred.job.tracker'属性配置。将配置更改为以下后,作业跟踪器UI可以跟踪此作业。

<hdp:configuration>
    fs.default.name=${fs.default.name}
    mapred.job.tracker=${mapred.job.tracker}
</hdp:configuration>