Hive版本与Spark的兼容性

时间:2015-11-18 16:52:50

标签: apache-spark hive

在各种失败的尝试使用我的Hive(1.2.1)与我的Spark(为Hadoop 2.2.0构建的Spark 1.4.1)后,我决定尝试使用Hive再次构建Spark。 我想知道什么是最新的Hive版本,可用于构建Spark。

下载Spark 1.5源并尝试:

mvn -Pyarn -Phadoop-2.6 -Dhadoop.version=2.6.0 -Phive -Phive-1.2.1 -Phive-thriftserver  -DskipTests clean package

我明白了:

The requested profile "hive-1.2.1" could not be activated because it does not exist.

任何帮助表示赞赏

3 个答案:

答案 0 :(得分:1)

检查你的spark 1.5 pom.xml它包含hive 1.2.1版本,因此我不需要明确指定hive版本。只需使用没有hive版本的mvn,它应该可以工作。

答案 1 :(得分:1)

答案 2 :(得分:0)

Spark网站维护了有关使用Hive支持构建的版本号的优秀文档。

e.g。对于v1.5 https://spark.apache.org/docs/1.5.0/building-spark.html

列出的示例显示2.4,但正如上面提到的另一个答案,您可以不使用Phive-1.2.1,但根据文档,如果您使用Spark 1.5.0,它将默认使用Hive 0.13 Bindings构建。

mvn -Pyarn -Phadoop-2.4 -Dhadoop.version=2.4.0 -Phive -Phive-thriftserver -DskipTests clean package

所有版本的索引:https://spark.apache.org/docs/

最新版本:https://spark.apache.org/docs/latest/building-spark.html

它似乎默认为从Spark版本1.6.2开始的Hive 1.2.1绑定。默认并不一定表示支持限制,