Question

我正在使用python并运行一些map reduce作业。我只针对一个特定文件获得以下错误，而具有相同格式的其他文件正常工作。我已查看文件，它看起来很好，没有什么不同，当我在数据文件本地运行地图减少python文件时，我没有得到任何错误。有人可以帮帮我。

2013-08-27 11:58:26,782 INFO org.apache.hadoop.mapred.TaskInProgress: Error from attempt_201308271128_0002_m_000000_0: java.lang.RuntimeException: PipeMapRed.waitOutputThreads(): subprocess failed with code 1
    at org.apache.hadoop.streaming.PipeMapRed.waitOutputThreads(PipeMapRed.java:362)
    at org.apache.hadoop.streaming.PipeMapRed.mapRedFinished(PipeMapRed.java:572)
    at org.apache.hadoop.streaming.PipeMapper.close(PipeMapper.java:136)
    at org.apache.hadoop.mapred.MapRunner.run(MapRunner.java:57)
    at org.apache.hadoop.streaming.PipeMapRunner.run(PipeMapRunner.java:34)
    at org.apache.hadoop.mapred.MapTask.runOldMapper(MapTask.java:417)
    at org.apache.hadoop.mapred.MapTask.run(MapTask.java:332)
    at org.apache.hadoop.mapred.Child$4.run(Child.java:268)
    at java.security.AccessController.doPrivileged(Native Method)
    at javax.security.auth.Subject.doAs(Subject.java:396)
    at org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1408)
    at org.apache.hadoop.mapred.Child.main(Child.java:262)

我得到异常java.lang.RuntimeException：PipeMapRed.waitOutputThreads（）：子进程失败，代码为1

0 个答案: