表数据存储在Spark中的哪里?

时间:2019-03-09 17:37:36

标签: apache-spark apache-spark-sql apache-spark-2.0

嗨,我想找出SparkSQL在Spark中存储表元数据的位置吗?如果默认情况下它不在Hive Metastore中,那么它将存储在哪里?

1 个答案:

答案 0 :(得分:2)

这是spark-2.2.0文档中的说明

如果未由hive-site.xml进行配置,那么上下文会自动在当前目录中创建metastore_db并创建一个由spark.sql.warehouse.dir配置的目录,该目录默认为当前目录中的spark-warehouse目录, Spark应用启动。请注意,自Spark 2.0.0起,hive-site.xml中的hive.metastore.warehouse.dir属性已被弃用。而是使用spark.sql.warehouse.dir指定仓库中数据库的默认位置。

这里是链接: https://spark.apache.org/docs/latest/sql-data-sources-hive-tables.html