Question

我ssh到master并在控制台上运行我的hadoop作业以进行开发。我的工作以一种神秘的方式失败，许多java堆栈跟踪对我来说毫无意义，见下文：

java.lang.RuntimeException: PipeMapRed.waitOutputThreads(): subprocess failed with code 143
at org.apache.hadoop.streaming.PipeMapRed.waitOutputThreads(PipeMapRed.java:322)
at org.apache.hadoop.streaming.PipeMapRed.mapRedFinished(PipeMapRed.java:535)
at org.apache.hadoop.streaming.PipeMapper.map(PipeMapper.java:120)
at org.apache.hadoop.mapred.MapRunner.run(MapRunner.java:54)
at org.apache.hadoop.streaming.PipeMapRunner.run(PipeMapRunner.java:34)
at org.apache.hadoop.mapred.MapTask.runOldMapper(MapTask.java:455)
at org.apache.hadoop.mapred.MapTask.run(MapTask.java:344)
at org.apache.hadoop.mapred.YarnChild$2.run(YarnChild.java:164)
at java.security.AccessController.doPrivileged(Native Method)
at javax.security.auth.Subject.doAs(Subject.java:422)
at org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1698)

Answer 1

查看日志中的python代码中的错误。对于EMR / yarn，您可以从WEB UI或群集主shell上找到您的日志，如下所示（您的应用程序ID将因作业启动时打印而不同）。有很多输出，在我显示时将其重定向到文件中并搜索python堆栈跟踪以查看应用程序出了什么问题。所有这些堆栈跟踪通常表明至少有一个reduce进程失败，但进程的stderr未显示在CLI / shell输出中。

$ yarn logs -applicationId application_1503951120983_0031 > /tmp/log

我在EMR集群主机上运行的python作业失败了，我该如何排除故障？

1 个答案: