如何在Hive中包含jar（Amazon Hadoop env）

Question

我需要在Hive中包含更新的protobuf jar（比2.5.0更新）。无论如何，无论我把罐子放在哪里 - 它都被推到了类路径的尽头。如何确保jar位于Hive的类路径的开头？

Answer 1

要将自己的jar添加到Hive类路径中以便它包含在类路径的开头并且不被某些hadoop jar重载，您需要设置以下Env变量 -

  

导出HADOOP_USER_CLASSPATH_FIRST = true

这表明HADOOP_CLASSPATH优先于一般的hadoop罐。

在Amazon emr实例中，您可以将其添加到/home/hadoop/conf/hadoop-env.sh，并修改此文件中的类路径。

当您想要重载像hadoop通用类路径一起提供的protobuf等jar时，这非常有用。

Answer 2

您可能会考虑做的另一件事是在jar中包含protobuf类。您需要使用程序集插件构建jar，这些类将是这些类。它是一个选择。