Spark与自定义配置单元绑定

时间:2016-08-10 13:09:07

标签: apache-spark hive apache-hive spark-hive

如何使用当前(hive 2.1)绑定而不是1.2来构建spark? http://spark.apache.org/docs/latest/building-spark.html#building-with-hive-and-jdbc-support 没有提到这是如何工作的。 火花塞2.x是否能很好地发挥作用?

1 个答案:

答案 0 :(得分:2)

我有同样的问题,这是我到目前为止所发现的。您可以尝试使用较新版本的hive来构建spark:

mvn -Dhive.group=org.apache.hive -Dhive.version=2.1.0 clean package

这种情况持续很长时间,但在单元测试中失败了。如果你跳过测试,你会得到更多,但然后遇到编译错误。总之,spark不能与hive 2.x一起使用!

我还搜索了ASF Jira for Spark和Hive,但没有找到任何升级提及。这是我能找到的最近的机票:https://issues.apache.org/jira/browse/SPARK-15691