如果我连接到Spark群集，请将一些数据复制到它，并断开连接，...
library(dplyr)
library(sparklyr)
sc <- spark_connect("local")
copy_to(sc, iris)
src_tbls(sc)
## [1] "iris"
spark_disconnect(sc)
然后下次我连接到Spark时，数据不存在。
sc <- spark_connect("local")
src_tbls(sc)
## character(0)
spark_disconnect(sc)
这与使用数据库的情况不同，无论您连接多少次，数据就在那里。
如何在连接之间将数据保存在Spark群集中？
我认为sdf_persist()可能是我想要的，但似乎没有。
答案 0 :(得分：1)
Spark在技术上是一个在计算机/集群上运行以执行任务的引擎。它不是数据库或文件系统。完成文件系统后可以保存数据，并在下次会话期间加载数据。