Question

从windows向linux提交map-reduce作业时出现以下错误。

容器ID：container_1422288303092_0045_02_000001

Exit code: 1
Stack trace: ExitCodeException exitCode=1: 
        at org.apache.hadoop.util.Shell.runCommand(Shell.java:538)
        at org.apache.hadoop.util.Shell.run(Shell.java:455)
        at org.apache.hadoop.util.Shell$ShellCommandExecutor.execute(Shell.java:702)
        at org.apache.hadoop.yarn.server.nodemanager.DefaultContainerExecutor.launchContainer(DefaultContainerExecutor.java:196)
        at org.apache.hadoop.yarn.server.nodemanager.containermanager.launcher.ContainerLaunch.call(ContainerLaunch.java:299)
        at org.apache.hadoop.yarn.server.nodemanager.containermanager.launcher.ContainerLaunch.call(ContainerLaunch.java:81)
        at java.util.concurrent.FutureTask$Sync.innerRun(FutureTask.java:303)
        at java.util.concurrent.FutureTask.run(FutureTask.java:138)
        at java.util.concurrent.ThreadPoolExecutor$Worker.runTask(ThreadPoolExecutor.java:886)
        at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:908)
        at java.lang.Thread.run(Thread.java:619)

从Linux到Linux，同样的工作也可以正常工作。
我已查看过有关此问题的其他几篇stackoverflow帖子，例如Related Post，并按照说明进行操作，但它没有帮助
我正在使用Cloudera hadoop版本2.5库
我还没有真正应用patch中提到的补丁，因为我想它现在已经成为发行版的一部分了
我在客户端mapred-site.xml中设置了以下属性：

   <property>
        <name>mapreduce.app-submission.cross-platform</name>
        <value>true</value>
    </property>
    <property>
        <name>mapreduce.remote.os</name>
        <value>Linux</value>
        <description>Remote MapReduce framework's OS, can be either Linux or Windows</description>
    </property>

Answer 1

CDH 2.5.1与Apache Hadoop 2.5.1不同 CDH现在是5.X系列，它支持Apache Hadoop 2.5.0

如果您使用的是Apache Hadoop 2.5.1，则应使用Apache的jar。但是，如果您真的使用的是CDH 2.5.1，那么您应该使用CDH 2.5.1 jar，并且您也必须应用该补丁。

从Windows提交到Linux（Cent OS）时，Map Reduce作业失败

1 个答案: