Question

当我运行地图缩减工作时，我收到以下错误。我的输入是一个26MB的序列文件。

16/02/28 17:51:22 INFO mapreduce.Job: Task Id : attempt_1456551797554_0004_m_000000_0, Status : FAILED
Error: java.lang.RuntimeException: PipeMapRed.waitOutputThreads(): subprocess failed with code 1
        at org.apache.hadoop.streaming.PipeMapRed.waitOutputThreads(PipeMapRed.java:322)
        at org.apache.hadoop.streaming.PipeMapRed.mapRedFinished(PipeMapRed.java:535)
        at org.apache.hadoop.streaming.PipeMapper.close(PipeMapper.java:130)
        at org.apache.hadoop.mapred.MapRunner.run(MapRunner.java:61)
        at org.apache.hadoop.streaming.PipeMapRunner.run(PipeMapRunner.java:34)
        at org.apache.hadoop.mapred.MapTask.runOldMapper(MapTask.java:450)
        at org.apache.hadoop.mapred.MapTask.run(MapTask.java:343)
        at org.apache.hadoop.mapred.YarnChild$2.run(YarnChild.java:163)
        at java.security.AccessController.doPrivileged(Native Method)
        at javax.security.auth.Subject.doAs(Subject.java:415)
        at org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1628)       
        at org.apache.hadoop.mapred.YarnChild.main(YarnChild.java:158)

我的stderr输出是：

log4j:WARN No appenders could be found for logger (org.apache.hadoop.ipc.Server).
log4j:WARN Please initialize the log4j system properly.
log4j:WARN See http://logging.apache.org/log4j/1.2/faq.html#noconfig for more info.

注意：当我在本地执行时，映射器运行完全正常但在我在hadoop中运行作业时出错。唯一的区别是在本地我使用的文件是在我的主目录和hadoop作业我使用相同的文件但在hdfs位置。

我在mapper.py的顶部提到'＃！/ usr / bin / env python'

PipeMapRed.waitOutputThreads（）：子进程失败，代码为1

0 个答案: