在包含多行

时间:2017-07-28 05:13:20

标签: scala apache-spark apache-spark-sql spark-dataframe

我正在尝试在这样的火花数据框架中创建嵌套列 -

A | B
a | [1,2, null]
a | [3, null, null]
a | [5,6,7]

此数据框的printSchema如下 -

|--A: string (nullable = true)
|--B: struct (nullable = true)
|  |--X: long (nullable = true)
|  |--Y: long (nullable = true)
|  |--Z: long (nullable = true)

我想将数据框嵌套为 -

A | B
a | [[1,2,null],[3,null,null],[5,6,7]]

并且printSchema应该提供与以前相同的结果。我试图将第一行作为字段数组并连接剩余的行,但它不起作用。 任何人都可以建议我如何得到我想要的结果?提前致谢。

0 个答案:

没有答案