我安装了HDP 2.x和hue。 (2位主持人)
我需要解决这个问题,因为我是oozie工作流程的新手。 我在这里跟着示例:http://www.oraclealchemist.com/news/hadoop-streaming-hue-oozie-workflows-hive/ 如果我只在相应路径的所有主机中都有mapper和reducer,那么它的工作正常。我看到oozie的ambari-qa烟雾测试很好,但是当我从Hue UI为Oozie提交流媒体作业时,mapper和redurs中的shell脚本执行字数统计(术语频率)并且我想使用“添加文件”( - Oozie工作流编辑器中的文件在hadoop命令行中)并将mapper和reducer上传到HDFS。在此更改并提交此作业后,出现错误。我对地图任务的所有尝试都收到以下错误:
2013-12-16 19:21:24,278错误[主要] org.apache.hadoop.streaming.PipeMapRed:配置异常 java.io.IOException:无法运行程序 “/hadoop/yarn/local/usercache/root/appcache/application_1387201627160_0006/container_1387201627160_0006_01_000002/./maptf.sh”: java.io.IOException:error = 2,没有这样的文件或目录
这意味着它无法在oozie / mapred / yarn将创建文件onfly的路径中找到mapper和reducer。我有任何oozie配置和工作流程问题吗? (通过电子邮件记录:sandeepboda91083@gmail.com)
在HDFS中,我在root用户下正确设置了所有路径和文件。
注意:我可以在没有oozie的情况下运行流媒体作业:
cd /root/mrtest/
ls
-rwxrwxrwx 1 root root 235 Dec 11 11:37 maptf.sh
-rwxrwxrwx 1 root root 273 Dec 11 11:37 redtf.sh
hadoop jar /usr/lib/hadoop-mapreduce/hadoop-streaming-2.2.0.2.0.6.0-76.jar -D stream.num.map.output.key.fields=1 -input crane_in1 -output crane_out2 -file ./maptf.sh -mapper maptf.sh -file ./redtf.sh -reducer redtf.sh
好像我不能在这里附上日志。请邮寄我的文件和日志。