在各种失败的尝试使用我的Hive(1.2.1)与我的Spark(为Hadoop 2.2.0构建的Spark 1.4.1)后,我决定尝试使用Hive再次构建Spark。 我想知道什么是最新的Hive版本,可用于构建Spark。
下载Spark 1.5源并尝试:
mvn -Pyarn -Phadoop-2.6 -Dhadoop.version=2.6.0 -Phive -Phive-1.2.1 -Phive-thriftserver -DskipTests clean package
我明白了:
The requested profile "hive-1.2.1" could not be activated because it does not exist.
任何帮助表示赞赏
答案 0 :(得分:1)
检查你的spark 1.5 pom.xml它包含hive 1.2.1版本,因此我不需要明确指定hive版本。只需使用没有hive版本的mvn,它应该可以工作。
答案 1 :(得分:1)
答案 2 :(得分:0)
Spark网站维护了有关使用Hive支持构建的版本号的优秀文档。
e.g。对于v1.5 https://spark.apache.org/docs/1.5.0/building-spark.html
列出的示例显示2.4,但正如上面提到的另一个答案,您可以不使用Phive-1.2.1
,但根据文档,如果您使用Spark 1.5.0,它将默认使用Hive 0.13 Bindings构建。
mvn -Pyarn -Phadoop-2.4 -Dhadoop.version=2.4.0 -Phive -Phive-thriftserver -DskipTests clean package
所有版本的索引:https://spark.apache.org/docs/
最新版本:https://spark.apache.org/docs/latest/building-spark.html
它似乎默认为从Spark版本1.6.2开始的Hive 1.2.1绑定。默认并不一定表示支持限制,