使用外部java库的猪UDF

时间:2016-03-01 14:17:11

标签: hadoop apache-pig cloudera hortonworks-data-platform

我编写了UDF,它使用了一些外部库作为jackson-databird等...如何指定pig应该在哪里寻找这些外部库?

由于

2 个答案:

答案 0 :(得分:1)

如果将所有依赖项编译为单个胖jar怎么办?

答案 1 :(得分:1)

您可以使用语法

指定其他Jars

pig -Dpig.additional.jars =“xxx.jar:yyy.jar”-f script.pig

拥有一个带有依赖项的jar可能会导致问题包含打包的依赖项,并且集群安装的依赖项不兼容。这也将使您的计划未来证明,我会假设。