使用“添加文件”部分(shell脚本)时,Hortonworks Hue Oozie流式处理作业失败

时间:2013-12-18 07:02:29

标签: hadoop streaming oozie hue

我安装了HDP 2.x和hue。 (2位主持人)

我需要解决这个问题,因为我是oozie工作流程的新手。 我在这里跟着示例:http://www.oraclealchemist.com/news/hadoop-streaming-hue-oozie-workflows-hive/ 如果我只在相应路径的所有主机中都有mapper和reducer,那么它的工作正常。我看到oozie的ambari-qa烟雾测试很好,但是当我从Hue UI为Oozie提交流媒体作业时,mapper和redurs中的shell脚本执行字数统计(术语频率)并且我想使用“添加文件”( - Oozie工作流编辑器中的文件在hadoop命令行中)并将mapper和reducer上传到HDFS。在此更改并提交此作业后,出现错误。我对地图任务的所有尝试都收到以下错误:

  

2013-12-16 19:21:24,278错误[主要]   org.apache.hadoop.streaming.PipeMapRed:配置异常   java.io.IOException:无法运行程序   “/hadoop/yarn/local/usercache/root/appcache/application_1387201627160_0006/container_1387201627160_0006_01_000002/./maptf.sh”:   java.io.IOException:error = 2,没有这样的文件或目录

这意味着它无法在oozie / mapred / yarn将创建文件onfly的路径中找到mapper和reducer。我有任何oozie配置和工作流程问题吗? (通过电子邮件记录:sandeepboda91083@gmail.com)

在HDFS中,我在root用户下正确设置了所有路径和文件。

注意:我可以在没有oozie的情况下运行流媒体作业:

cd /root/mrtest/
ls
-rwxrwxrwx 1 root root 235 Dec 11 11:37 maptf.sh
-rwxrwxrwx 1 root root 273 Dec 11 11:37 redtf.sh

hadoop jar /usr/lib/hadoop-mapreduce/hadoop-streaming-2.2.0.2.0.6.0-76.jar -D stream.num.map.output.key.fields=1 -input crane_in1 -output crane_out2 -file ./maptf.sh -mapper maptf.sh -file ./redtf.sh -reducer redtf.sh

好像我不能在这里附上日志。请邮寄我的文件和日志。

1 个答案:

答案 0 :(得分:1)

这可能与Hue list上的这些用户的问题相同。

如果您使用文件浏览器编辑了文件,则可能会因为某些非Unix新行而损坏它们。您应该直接上传它们而不是修改它们或使用更新版本的Hue(在撰写本文时为3.5)。