Spark和Hive都可以单独运行,但是当我尝试将Spark Dataframe的输出写入Hive表时,我收到以下错误:
引起:org.apache.hadoop.hive.metastore.api.MetaException:Hive 架构版本1.2.0与Metastore的架构版本2.1.0不匹配 Metastore未升级或损坏
" schematool -dbType postgres -info"的详细信息附在下面: Schematool Results Screenshot
附加说明:从Databricks Spark documentation page开始,我发现Apache Spark仅支持从0.12到1.2.1的多个版本的hive。
所以我连接的唯一方法是降级我的Hive版本? 或者我们是否还有其他规定可以添加额外的jar,以便将Spark-2.1.0 DataFrames编写到Hive-2.1.1表中?
感谢您对此的看法。提前谢谢。
答案 0 :(得分:3)
最后我自己找到了答案。对那些坚持同样问题的人有帮助。
通过在hive-site.xml文件中添加以下参数来解决此问题
<property>
<name>hive.metastore.schema.verification</name>
<value>false</value>
</property>