我正试图通过Oozie进行蜂巢行动。我的workflow.xml
如下:
<workflow-app name='edu-apollogrp-dfe' xmlns="uri:oozie:workflow:0.1">
<start to="HiveEvent"/>
<action name="HiveEvent">
<hive xmlns="uri:oozie:hive-action:0.2">
<job-tracker>${jobTracker}</job-tracker>
<name-node>${nameNode}</name-node>
<configuration>
<property>
<name>oozie.hive.defaults</name>
<value>${hiveConfigDefaultXml}</value>
</property>
</configuration>
<script>${hiveQuery}</script>
<param>OUTPUT=${StagingDir}</param>
</hive>
<ok to="end"/>
<error to="end"/>
</action>
<kill name='kill'>
<message>Hive failed, error message[${wf:errorMessage(wf:lastErrorNode())}]</message>
</kill>
<end name='end'/>
这是我的job.properties文件:
oozie.wf.application.path=${nameNode}/user/${user.name}/hiveQuery
oozie.libpath=${nameNode}/user/${user.name}/hiveQuery/lib
queueName=interactive
#QA
nameNode=hdfs://hdfs.bravo.hadoop.apollogrp.edu
jobTracker=mapred.bravo.hadoop.apollogrp.edu:8021
# Hive
hiveConfigDefaultXml=/etc/hive/conf/hive-default.xml
hiveQuery=hiveQuery.hql
StagingDir=${nameNode}/user/${user.name}/hiveQuery/Output
当我运行此工作流程时,我最终会遇到此错误:
ACTION[0126944-130726213131121-oozie-oozi-W@HiveEvent] Launcher exception: org/apache/hadoop/hive/cli/CliDriver
java.lang.NoClassDefFoundError: org/apache/hadoop/hive/cli/CliDriver
Error Code: JA018
Error Message: org/apache/hadoop/hive/cli/CliDriver
我不确定这个错误意味着什么。我哪里错了?
修改
This link说错误代码JA018
是:JA018 is output directory exists error in workflow map-reduce action
。但在我的情况下,输出目录不存在。这使得它更加令人困惑
答案 0 :(得分:5)
我弄清楚出了什么问题!
执行Hive Action需要类org/apache/hadoop/hive/cli/CliDriver
。从错误消息中可以明显看出这一点。此类位于此jar文件中:hive-cli-0.7.1-cdh3u5.jar
。 (就我的情况而言,我的cloudera版本中的cdh3u5)。
Oozie在ShareLib
目录中检查此jar。此目录的位置通常在hive-site.xml
中配置,属性名称为oozie.service.WorkflowAppService.system.libpath
,因此Oozie应该可以轻松找到jar。
但在我的情况下,hive-site.xml
没有包含此属性,因此Oozie不知道在哪里寻找这个jar,因此java.lang.NoClassDefFoundError
。
要解决此问题,我必须在job.properties文件中包含一个参数,以便将oozie指向ShareLib
目录的位置,如下所示:
oozie.libpath=${nameNode}/user/oozie/share/lib
。 (取决于群集上SharedLib
目录的配置位置。)
这摆脱了错误!