标签: scala apache-spark
我想使用自定义文件名保存生成的RDD分区,例如:chunk0.gz,chunk1.gz等。因此,我希望它们也可以进行gzip压缩。
chunk0.gz
chunk1.gz
使用saveAsTextFile会导致创建目录,标准文件名为part-00000.gz等。
saveAsTextFile
part-00000.gz
fqPart.saveAsTextFile(outputFolder, classOf[GzipCodec])
如何指定自己的文件名?我是否必须手动迭代RDD分区并写入文件,然后压缩生成的文件?
提前致谢。