无法将Apache Spark-2.1.0与Hive-2.1.1 Metastore连接起来

时间:2017-04-20 11:48:12

标签: postgresql apache-spark dataframe hive apache-spark-sql

Spark和Hive都可以​​单独运行,但是当我尝试将Spark Dataframe的输出写入Hive表时,我收到以下错误:

  

引起:org.apache.hadoop.hive.metastore.api.MetaException:Hive   架构版本1.2.0与Metastore的架构版本2.1.0不匹配   Metastore未升级或损坏

" schematool -dbType postgres -info"的详细信息附在下面: Schematool Results Screenshot

附加说明:从Databricks Spark documentation page开始,我发现Apache Spark仅支持从0.12到1.2.1的多个版本的hive。

所以我连接的唯一方法是降级我的Hive版本? 或者我们是否还有其他规定可以添加额外的jar,以便将Spark-2.1.0 DataFrames编写到Hive-2.1.1表中?

感谢您对此的看法。提前谢谢。

1 个答案:

答案 0 :(得分:3)

最后我自己找到了答案。对那些坚持同样问题的人有帮助。

通过在hive-site.xml文件中添加以下参数来解决此问题

<property>
    <name>hive.metastore.schema.verification</name>
    <value>false</value>
</property>