Spark是否支持将用户元数据添加到Orc文件?

时间:2018-11-20 23:17:45

标签: apache-spark orc

我目前正在使用这样的火花将数据帧保存到orc文件到Amazon S3:

    df.repartition("col1", "col2").write.mode("append").option("compression", "zlib").format("orc").partitionBy("col1","col2").save(myS3Location)

当Spark创建文件时,是否可以将orc用户元数据包含到这些文件中?

0 个答案:

没有答案