Spark：编写BZip2压缩拼花文件

Question

我想在spark-sql中使用BZip2编解码器压缩从DataFrame中编写镶木地板文件，以便它们可以拆分。使用以下代码，我可以使用snappy和gzip等编解码器：

sqlContext.setConf("spark.sql.parquet.compression.codec", "snappy")
sqlContext.read.parquet(stagingDir)
        .dropDuplicates()
        .write
        .mode(SaveMode.Append)
        .parquet(outputDir)

然而，当我尝试使用BZip2时，我似乎无法获得此异常，即使我能够从RDD编写BZip2压缩文本文件

java.lang.IllegalArgumentException: The value of spark.sql.parquet.compression.codec should be one of uncompressed, snappy, gzip, lzo, but was bzip2

有没有办法从Spark SQL编写BZip2压缩镶木地板文件？