当我使用oozie od CDH 4.1.1
运行hive脚本时运行失败:
Error Code JA018
Error Message org/apache/hadoop/hive/cli/CliDriver
Details
Property Value
External Id job_201211281608_0112
External Status FAILED/KILLED
Data None
Start time Sat, 01 Dec 2012 03:02:37
End time Sat, 01 Dec 2012 03:03:07
Id 0000007-121128160850795-oozie-oozi-W@ExchangeRateTest
Retries 0
TrackerUri overlord-datanode1:8021
Transition kill
Googling JA018只揭示了一个神秘的暗示:JA018是工作流map-reduce动作中输出目录存在的错误。
我将hiv-site.xml复制到HDFS并在workflow.xml中设置: oozie.hive.defaults / user / hue / oozie / workspaces / overlord -oozie-1 / hive-site.xml
这是完整的workflow.xml:
<workflow-app name="HiveTest" xmlns="uri:oozie:workflow:0.4">
<start to="ExchangeRateTest"/>
<action name="ExchangeRateTest">
<hive xmlns="uri:oozie:hive-action:0.2">
<job-tracker>${jobTracker}</job-tracker>
<name-node>${nameNode}</name-node>
<prepare>
<delete path="${nameNode}${jobOutput}"/>
</prepare>
<configuration>
<property>
<name>oozie.use.system.libpath</name>
<value>true</value>
</property>
<property>
<name>oozie.hive.defaults</name>
<value>/user/hue/oozie/workspaces/_overlord_-oozie-1/hive-site.xml</value>
</property>
</configuration>
<script>/user/hue/oozie/workspaces/_overlord_-oozie-1/03_update_exchange_rates_final.hive</script>
<param>OUTPUT=${jobOutput}</param>
</hive>
<ok to="end"/>
<error to="kill"/>
</action>
<kill name="kill">
<message>Action failed, error message[${wf:errorMessage(wf:lastErrorNode())}]</message>
</kill>
<end name="end"/>
</workflow-app>
如何让它发挥作用?
答案 0 :(得分:2)
执行Hive Action需要类org/apache/hadoop/hive/cli/CliDriver
。从错误消息中可以明显看出这一点。此类位于此jar文件中:hive-cli-0.7.1-cdh3u5.jar
。 (就我的情况而言,我的cloudera版本中的cdh3u5)。
Oozie在ShareLib
目录中检查此jar。此目录的位置通常在hive-site.xml
中配置,属性名称为oozie.service.WorkflowAppService.system.libpath
,因此Oozie应该可以轻松找到jar。
但在我的情况下,hive-site.xml
没有包含此属性,因此Oozie不知道在哪里寻找这个jar,因此java.lang.NoClassDefFoundError
。
要解决此问题,我必须在job.properties文件中包含一个参数,以便将oozie指向ShareLib
目录的位置,如下所示:
oozie.libpath=${nameNode}/user/oozie/share/lib
。 (取决于群集上SharedLib
目录的配置位置。)