使用Spark sql将json转换为Parquet格式,类似这样
Error while processing statement: FAILED: Execution Error, return code 2 from org.apache.hadoop.hive.ql.exec.mr.MapRedTask
我的员工json看起来很喜欢这个 { “ID”:1, “名称”: “ABC”, “地址”:{ “街道”: “S1”, “邮政编码”:123, “状态”: “KA”}}
我正在尝试使用Amazon Athena阅读Parquet文件。雅典娜的桌子结构是这样的 创建外部表员工 {id string, 名字串, 地址结构
问题是Parquet文件中地址结构中三个字段的顺序没有保留,因此我无法在上面定义的Athena模式中加载它。
非常感谢任何帮助。