从Spark DF中的嵌套结构中获取值

时间:2018-06-14 23:36:18

标签: scala apache-spark apache-spark-sql

Spark DF有一列,其中每一行都是

类型:

org.apache.spark.sql.Row

形式:

  col1: array (nullable = true)
|     |-- A1: struct (containsNull = true)
|     |       |-- B1: struct (nullable = true)
|     |       |    |-- B11: string (nullable = true)
|     |       |    |-- B12: string (nullable = true)

|     |       |-- B2: string (nullable = true)

我想获得

的价值
A1->B1->B11. 

使用DataFrame API或索引获取此方法而不将每行转换为seq然后迭代它的任何方法都会严重影响我的性能。任何建议都会很棒。感谢

0 个答案:

没有答案