如何在Apache Spark中将列从json的字符串转换为数组

时间:2017-02-07 10:27:39

标签: json string apache-spark schema apache-spark-sql

从hdfs读取的数据模式是:

root
|-- id: string
|-- ext_json: string

而ext_json中的数据如下:

[{'a':'1','b':'2'},{'a':'3','b':'4'}]

现在我需要转换架构的数据如下:

root
|-- id: string
|-- ext_json: array
|    |-- element: struct
|    |    |-- a: string
|    |    |-- b: string

怎么做?

Spark版本是2.0.1

0 个答案:

没有答案