标签: scala apache-spark zip
目前我们将DataFrames保存为gzip档案,但我们的一位数据使用者不支持此文件格式。有没有办法将Spark数据框保存为zip存档?
val dfWriter = sourceDf.repartition(1) .write .format("com.databricks.spark.csv") if (archived) dfWriter.option("codec", "org.apache.hadoop.io.compress.GzipCodec")