在Amazon Mapreduce中运行的pig脚本中的STREAM关键字

时间:2010-01-24 14:03:38

标签: amazon hadoop mapreduce apache-pig

我有一个猪脚本,可以激活另一个python程序。 我能够在自己的hadoop环境中这样做,但是当我在Amazon map reduce WS中运行脚本时,我总是失败。

日志说:

org.apache.pig.backend.executionengine.ExecException:ERROR 2090:处理reduce计划时收到错误:''退出状态失败:127     在org.apache.pig.backend.hadoop.executionengine.mapReduceLayer.PigMapReduce $ Reduce.runPipeline(PigMapReduce.java:347)     在org.apache.pig.backend.hadoop.executionengine.mapReduceLayer.PigMapReduce $ Reduce.processOnePackageOutput(PigMapReduce.java:288)     在org.apache.pig.backend.hadoop.executionengine.mapReduceLayer.PigMapReduce $ Reduce.reduce(PigMapReduce.java:260)     在org.apache.pig.backend.hadoop.executionengine.mapReduceLayer.PigMapReduce $ Reduce.reduce(PigMapReduce.java:142)     在org.apache.hadoop.mapred.ReduceTask.run(ReduceTask.java:321)     在org.apache.hadoop.mapred.TaskTracker $ Child.main(TaskTracker.java:2216)

任何想法?

2 个答案:

答案 0 :(得分:0)

您是否确保将脚本发送到Elastic MapReduce作业?

答案 1 :(得分:0)

问题解决了! 我只需要在定义流命令时使用缓存('s3://')选项