运行Spark App：坚持Metastore

Question

我在Spark 2.1应用程序上工作，该应用程序也使用SparkSQL并使用dataframe.write.saveAsTable(tbl)保存数据。我的理解是内存中的Derby DB用于Hive Metastore（对吗？）。这意味着我在第一次执行中创建的表在任何后续执行中都不可用。在许多情况下，这可能是预期的行为 - 但我希望将Metastore贯穿执行（因为这也是我在生产系统中的行为）。

所以，一个简单的问题：如何更改配置以在磁盘上保留Metastore？

一句话：我没有使用spark-shell或spark-submit启动Spark作业，而是作为一个独立的Scala应用程序。

Answer 1

它已经存在于磁盘上。只要两个会话使用相同的工作目录或特定的Metastore配置，永久表就会在会话之间保持不变。