如何使用短暂的EMR集群表转储?

时间:2017-10-16 22:02:28

标签: apache-spark apache-spark-sql emr apache-spark-2.2

我正在使用Spark 2.2和EMR上的短暂集群。 我想使用spark bucketing,我不关心Hive(仅限Spark的工作负载)。

我可以将spark.sql.warehouse.dir与s3存储桶一起使用来保存Metastore信息,以使它们不依赖于群集吗?

我还需要一个位置来存储metastore_db吗?

幕后会发生什么?此命令显示的存储信息在哪里:spark.catalog.listTables.show

0 个答案:

没有答案