镶木地板格式不保留struct内部的字段顺序

时间:2017-06-23 08:01:08

标签: json apache-spark-sql parquet

使用Spark sql将json转换为Parquet格式,类似这样

Error while processing statement: FAILED: Execution Error, return code 2 from org.apache.hadoop.hive.ql.exec.mr.MapRedTask

我的员工json看起来很喜欢这个 { “ID”:1, “名称”: “ABC”, “地址”:{ “街道”: “S1”, “邮政编码”:123, “状态”: “KA”}}

我正在尝试使用Amazon Athena阅读Parquet文件。雅典娜的桌子结构是这样的 创建外部表员工 {id string, 名字串, 地址结构

问题是Parquet文件中地址结构中三个字段的顺序没有保留,因此我无法在上面定义的Athena模式中加载它。

非常感谢任何帮助。

0 个答案:

没有答案