我有一些计算值,我想将它们保存在SparkR中。
如果我将其保存为csv文件
write.csv(data, file="/.../data.csv", row.names=FALSE)
出于某种原因需要很长时间。有一个更好的方法吗 ?
答案 0 :(得分:0)
您可以将csv文件保存在/ tmp /中以供临时使用。但是当群集重新启动时,该文件将被删除。将文件名指定为file =“/ tmp / filename.csv”
另一种选择,你可以注册你的表。 见https://spark.apache.org/docs/latest/sparkr.html