有没有一种方法可以在Spark本地模式下保存表并在重新连接后进行检索?

时间:2019-01-09 20:07:29

标签: sparklyr

我正在使用带有本地火花(2.3.0)的sparklyr。我可以用spark_write_table保存表,如

library(sparklyr)
sc <- spark_connect(master = "local", version = "2.3.0")
sdf_copy_to(sc, iris, "iris")
spark_write_table(tbl(sc, "iris"), "iris2")
有两个表“ iris”和“ iris2”:
 dbGetQuery(sc,"SHOW TABLES")
 database tableName isTemporary   
1 default     iris2       FALSE  
2              iris        TRUE
而第一个似乎不是临时的。

但是,如果我断开会话并使用

重新连接
spark_disconnect(sc)
sc <- spark_connect(master = "local", version = "2.3.0")
尽管火花仓库目录中存在该表,但我再也找不到“ iris2”表。

这是预期的行为吗(在本地模式下,Spark无法存储永久表),还是在使用相同仓库目录时能够保存和检索表的技巧?

0 个答案:

没有答案