我有一个猪脚本,可以激活另一个python程序。 我能够在自己的hadoop环境中这样做,但是当我在Amazon map reduce WS中运行脚本时,我总是失败。
日志说:
org.apache.pig.backend.executionengine.ExecException:ERROR 2090:处理reduce计划时收到错误:''退出状态失败:127 在org.apache.pig.backend.hadoop.executionengine.mapReduceLayer.PigMapReduce $ Reduce.runPipeline(PigMapReduce.java:347) 在org.apache.pig.backend.hadoop.executionengine.mapReduceLayer.PigMapReduce $ Reduce.processOnePackageOutput(PigMapReduce.java:288) 在org.apache.pig.backend.hadoop.executionengine.mapReduceLayer.PigMapReduce $ Reduce.reduce(PigMapReduce.java:260) 在org.apache.pig.backend.hadoop.executionengine.mapReduceLayer.PigMapReduce $ Reduce.reduce(PigMapReduce.java:142) 在org.apache.hadoop.mapred.ReduceTask.run(ReduceTask.java:321) 在org.apache.hadoop.mapred.TaskTracker $ Child.main(TaskTracker.java:2216)
任何想法?
答案 0 :(得分:0)
您是否确保将脚本发送到Elastic MapReduce作业?
答案 1 :(得分:0)
问题解决了! 我只需要在定义流命令时使用缓存('s3://')选项