Spark数据集写入之间的区别

时间:2018-07-30 13:36:33

标签: apache-spark hadoop hdfs

我正在使用 Spark-Java

我需要知道以下写入Hadoop方法之间是否存在差异(性能等):

ds.write().mode(mode).format("orc").save(path);

ds.write().mode(mode).orc(path);

谢谢。

1 个答案:

答案 0 :(得分:2)

没有区别

orc(path)只是format("orc").save(path)

的快捷方式

.json(path)csv(path)都适用,默认设置为write(path),且格式不是Parquet