Question

Hello Pig / Oozie Guru＆＃39>

我已经实现了一个扩展LoadFunc的自定义Loader。我在该Loader的构造函数中使用了一些外部依赖项。我能够在Pig前端设置类路径并使我的任务独立运行。但是我不知道如何在Oozie上设置Pig Frontend类路径？任何人都有解决类似问题的经验吗？

感谢任何提示。

以下是我独立运行的方式

for j in $LIBDIR/*.jar
do
  LIBJARS=$LIBJARS,$j
  HADOOP_CLASSPATH=$HADOOP_CLASSPATH:$j
done

export HADOOP_CLASSPATH=$HADOOP_CLASSPATH

pig -cp /local_path_to_jar/xx.jar -Dmapreduce.job.classloader=true query.pig

Answer 1

通过以下设置解决问题

<property>
    <name>oozie.launcher.mapreduce.job.classloader</name>
    <value>true</value>
</property>
<property>
    <name>oozie.launcher.mapreduce.job.ubertask.enable</name>
    <value>false</value>
</property>

参考：

http://jaikit.blogspot.com/2014/12/precedence-to-user-classpathlibraries.html

猪前端在Oozie上设置自定义类路径

1 个答案: