json Serde JAR在CDH Hadoop中与Hive / Hue / MapReduce一起使用的最佳位置

时间:2013-10-02 11:29:01

标签: hadoop hive cloudera hue

我正在使用 Hive / Hue / MapReduce和json Serde 。为了实现这一点,我将 json_serde.jar 复制到每个集群节点上的几个lib目录中:

  • 的/ opt / Cloudera的/包裹/ CDH / LIB /蜂巢/ lib中
  • 的/ opt / Cloudera的/包裹/ CDH / LIB / Hadoop的映射精简/ lib中
  • 的/ opt / Cloudera的/包裹/ CDH / LIB / hadoop的/ lib中
  • /opt/cloudera/parcels/CDH/lib/hadoop-0.20-mapreduce/lib
  • ...

在群集的每个CDH更新中,我必须再次这样做。 是否有更优雅的方式,群集中的分发会自动且抵制更新

2 个答案:

答案 0 :(得分:2)

如果使用 HiveServer2 (Cloudera 5.0+中的默认值),以下配置将在整个群集中运行,而无需将jar复制到每个节点。

hive-site.xml 配置文件中,或者如果您在" HiveServer2高级配置代码段(安全阀)中使用Cloudera Manager,的site.xml "配置框

<property>
 <name>hive.aux.jars.path</name>
 <value>/user/hive/aux_jars/hive-serdes-1.0-snapshot.jar</value>
</property>

然后在HDFS文件系统(/ user / hive / aux_jars)中创建目录并将jar文件放入其中。如果您正在运行HUE,则可以通过Web UI执行此部分,只需单击右上角的文件浏览器即可。

答案 1 :(得分:1)

这取决于Hue的版本以及使用Beeswax或HiveServer2: