从hdfs读取的数据模式是:
root
|-- id: string
|-- ext_json: string
而ext_json中的数据如下:
[{'a':'1','b':'2'},{'a':'3','b':'4'}]
现在我需要转换架构的数据如下:
root
|-- id: string
|-- ext_json: array
| |-- element: struct
| | |-- a: string
| | |-- b: string
怎么做?
Spark版本是2.0.1