嗨,我想找出SparkSQL在Spark中存储表元数据的位置吗?如果默认情况下它不在Hive Metastore中,那么它将存储在哪里?
答案 0 :(得分:2)
这是spark-2.2.0文档中的说明
如果未由hive-site.xml进行配置,那么上下文会自动在当前目录中创建metastore_db并创建一个由spark.sql.warehouse.dir配置的目录,该目录默认为当前目录中的spark-warehouse目录, Spark应用启动。请注意,自Spark 2.0.0起,hive-site.xml中的hive.metastore.warehouse.dir属性已被弃用。而是使用spark.sql.warehouse.dir指定仓库中数据库的默认位置。
这里是链接: https://spark.apache.org/docs/latest/sql-data-sources-hive-tables.html