标签: apache-spark apache-spark-sql emr apache-spark-2.2
我正在使用Spark 2.2和EMR上的短暂集群。 我想使用spark bucketing,我不关心Hive(仅限Spark的工作负载)。
我可以将spark.sql.warehouse.dir与s3存储桶一起使用来保存Metastore信息,以使它们不依赖于群集吗?
spark.sql.warehouse.dir
我还需要一个位置来存储metastore_db吗?
metastore_db
幕后会发生什么?此命令显示的存储信息在哪里:spark.catalog.listTables.show?
spark.catalog.listTables.show