如何使用spark写入镶木地板文件时添加额外的元数据

时间:2017-02-24 07:35:21

标签: apache-spark spark-dataframe parquet

默认情况下看起来像火花" org.apache.spark.sql.parquet.row.metadata"到木地板文件页脚。但是,如果我想将一些随机元数据(例如version = 123)写入spark生成的镶木地板文件中该怎么办?

这不起作用:

df.write().option("version","123").parquet("somefile.parquet");

我正在使用spark版本1.6.2

1 个答案:

答案 0 :(得分:1)

列级元数据,是的,请参阅我的评论。

表级评论/用户元数据:请参阅https://issues.apache.org/jira/browse/SPARK-10803

可悲的是,还没有