将Spark DataFrame保存为zip存档

时间:2018-04-02 13:22:08

标签: scala apache-spark zip

目前我们将DataFrames保存为gzip档案,但我们的一位数据使用者不支持此文件格式。有没有办法将Spark数据框保存为zip存档?

val dfWriter = sourceDf.repartition(1)
  .write
  .format("com.databricks.spark.csv")

if (archived)
  dfWriter.option("codec", "org.apache.hadoop.io.compress.GzipCodec")

0 个答案:

没有答案