Question

我将POWER6 Linux节点设置为Hadoop 1.0.4群集中的从属设备（Red Hat 4.1.2-48）主节点是Wintel虚拟分区上的RHEL节点。

在Sun Sun上安装了JDK 1.6.43，在Power slave节点上安装了IBM JDK 1.6.0。

当我提交要在主节点上运行的pig脚本时，它会在所有从属节点上提交MAP作业，而POWER6节点上的那些会失败，并显示以下错误：

10 10:52:36,610 WARN org.apache.hadoop.mapred.Child: Error running child.java.lang.NullPointerException
        at org.apache.hadoop.mapred.IFile$Writer.<init>(IFile.java:102)
        at org.apache.hadoop.mapred.MapTask$MapOutputBuffer.sortAndSpill(MapTask.java:1407)
        at org.apache.hadoop.mapred.MapTask$MapOutputBuffer.flush(MapTask.java:1298)
        at org.apache.hadoop.mapred.MapTask$NewOutputCollector.close(MapTask.java:699)
        at org.apache.hadoop.mapred.MapTask.runNewMapper(MapTask.java:766)
        at org.apache.hadoop.mapred.MapTask.run(MapTask.java:370)
        at org.apache.hadoop.mapred.Child$4.run(Child.java:255)
        at java.security.AccessController.doPrivileged(AccessController.java:310)
        at javax.security.auth.Subject.doAs(Subject.java:573)
        at org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1121)

When I see the log up above, I see a warning as below:
2013-07-10 10:52:21,698 WARN org.apache.hadoop.util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable


2013-07-10 10:52:22,690 WARN org.apache.hadoop.io.compress.snappy.LoadSnappy: Snappy native library not loaded

我假设无法加载HADOOP的本机库。

当我在其他节点上安装SUN JDK时，不会发生此问题，但此电源节点具有IBM JDK。

POWER6 Slave节点上的Java路径为/opt/ibm/java-ppc64-60/bin/java，Hadoop路径为/usr/local/hadoop/bin/hadoop

我读了一篇文章https://issues.apache.org/jira/browse/DAEMON-249并创建了一个commons-daemon-1.0.2-bin-linux-ppc64.tar.gz文件，但我不知道如何处理这个tarball以及如何实现这些更改。

作为Linux和Hadoop社区的新手，我自学并完成这些任务，因为我无法在群集中添加Power节点而陷入困境。

我们非常感谢您解决此问题的详细快速帮助。

IBM Power 6 Linux节点上的Hadoop Map作业失败

0 个答案: