Spark使用自定义文件名和gzip保存分区

时间:2016-10-27 14:02:58

标签: scala apache-spark

我想使用自定义文件名保存生成的RDD分区,例如:chunk0.gzchunk1.gz等。因此,我希望它们也可以进行gzip压缩。

使用saveAsTextFile会导致创建目录,标准文件名为part-00000.gz等。

fqPart.saveAsTextFile(outputFolder, classOf[GzipCodec])

如何指定自己的文件名?我是否必须手动迭代RDD分区并写入文件,然后压缩生成的文件?

提前致谢。

0 个答案:

没有答案