Question

启动spark-shell时，我会定期收到警告

WARN ObjectStore: Version information not found in 
metastore. hive.metastore.schema.verification is not enabled so 
recording the schema version 1.2.0
WARN ObjectStore: Failed to get database default, returning NoSuchObjectException
java.lang.RuntimeException:

他们是什么意思，我如何防止它。此警告也可能出现在其他版本的2.0.2和1.6.2上。

Answer 1

我认为您的配置单元的版本太旧，尝试将配置单元升级到1.2.0或更高版本。另一种选择是使用与蜂巢0.13兼容的spark 1.4。

Answer 2

默认情况下，hive.metastore.schema.verification设置为false。另一个配置被设置为false以避免此错误。在hive-site.xml中设置以下配置。（由于metastore中的VERSION表为空，因此会发生此问题）

<property>
         <name>hive.metastore.schema.verification</name>
         <value>false</value>
</property>

<property>
         <name>hive.metastore.schema.verification.record.version</name>
         <value>false</value>
</property>

Answer 3

我在 Spark 2.4.7 中遇到了同样的问题；我没有找到 hive-site.xml。它很可能被打包。但是，我确实通过执行以下导入并创建新的 spark 会话来启用请求的验证；在火花壳上。

scala> 导入 org.apache.spark.sql.Row
scala> 导入 org.apache.spark.sql.SparkSession
scala> val spark =SparkSession.builder.appName("Spark Hive Example").config("spark.sql.warehouse.dir", ".").enableHiveSupport().getOrCreate()

Spark中的HIVE Metastore警告

3 个答案: