将函数值保存在SparkR中的文件中

时间:2015-07-29 09:56:00

标签: r sparkr

我有一些计算值,我想将它们保存在SparkR中。

如果我将其保存为csv文件

write.csv(data, file="/.../data.csv", row.names=FALSE) 

出于某种原因需要很长时间。有一个更好的方法吗 ?

1 个答案:

答案 0 :(得分:0)

您可以将csv文件保存在/ tmp /中以供临时使用。但是当群集重新启动时,该文件将被删除。将文件名指定为file =“/ tmp / filename.csv”

另一种选择,你可以注册你的表。 见https://spark.apache.org/docs/latest/sparkr.html