我正在为我的应用程序使用Spring for Apache Hadoop 1.0.0.M2。应用程序使用maven程序集插件打包为二进制分发,并使用以下命令在集群上运行: java -jar mlprocessor.jar
jar中的清单文件包括对加载spring上下文文件的Main类的引用。工作执行得很好,我也看到了结果。但是,Job Tracker GUI上没有此工作的痕迹。
日志显示以下警告:WARN [org.apache.hadoop.util.NativeCodeLoader] - 无法为您的平台加载native-hadoop库...使用适用的builtin-java类
我想检查是否有人知道这个问题,或者有些东西我不知道。
感谢。
答案 0 :(得分:0)
我在Spring Hadoop论坛(http://forum.springsource.org/showthread.php?131245-Job-not-appearing-on-JobTracker-user-interface)上发布了相同的问题并在那里收到了答案:
我在hdp:configuration中缺少'mapred.job.tracker'属性配置。将配置更改为以下后,作业跟踪器UI可以跟踪此作业。
<hdp:configuration>
fs.default.name=${fs.default.name}
mapred.job.tracker=${mapred.job.tracker}
</hdp:configuration>