如何使用平面图爆炸数据集?

时间:2019-01-17 16:16:53

标签: scala apache-spark apache-spark-sql flatmap

我有一个case类的序列,其中有一个String,后面跟着一个String序列。如何在不丢失第一列的情况下对字符串序列(第二列)进行平面映射?

我尝试过:

$Task

但是在这种情况下,我输了第一列。

这是我的代码:

flatmap(_.second)

1 个答案:

答案 0 :(得分:1)

一种爆炸第二个山口并保持第一个山口的方法实际上是flatMap

ds.flatMap{ case A(a,b) => b.map((a,_)) }

应输出:

+---+---+
| _1| _2|
+---+---+
|  1|  A|
|  1|  B|
|  2|  C|
+---+---+