如何使用当前(hive 2.1)绑定而不是1.2来构建spark? http://spark.apache.org/docs/latest/building-spark.html#building-with-hive-and-jdbc-support 没有提到这是如何工作的。 火花塞2.x是否能很好地发挥作用?
答案 0 :(得分:2)
我有同样的问题,这是我到目前为止所发现的。您可以尝试使用较新版本的hive来构建spark:
mvn -Dhive.group=org.apache.hive -Dhive.version=2.1.0 clean package
这种情况持续很长时间,但在单元测试中失败了。如果你跳过测试,你会得到更多,但然后遇到编译错误。总之,spark不能与hive 2.x一起使用!
我还搜索了ASF Jira for Spark和Hive,但没有找到任何升级提及。这是我能找到的最近的机票:https://issues.apache.org/jira/browse/SPARK-15691