标签: apache-spark spark-dataframe parquet
默认情况下看起来像火花" org.apache.spark.sql.parquet.row.metadata"到木地板文件页脚。但是,如果我想将一些随机元数据(例如version = 123)写入spark生成的镶木地板文件中该怎么办?
这不起作用:
df.write().option("version","123").parquet("somefile.parquet");
我正在使用spark版本1.6.2
答案 0 :(得分:1)
列级元数据,是的,请参阅我的评论。
表级评论/用户元数据:请参阅https://issues.apache.org/jira/browse/SPARK-10803
可悲的是,还没有