我有嵌套字符串,如下所示。我想平面映射它们以在Spark中生成唯一的行
我的数据框有
A,B,"x,y,z",D
我想将其转换为产生类似
的输出A,B,x,D
A,B,y,D
A,B,z,D
我该怎么做。
基本上我如何做平面地图并在Dataframe中应用任何功能
由于
答案 0 :(得分:20)
Spark 2.0 +
Dataset.flatMap
:
val ds = df.as[(String, String, String, String)]
ds.flatMap {
case (x1, x2, x3, x4) => x3.split(",").map((x1, x2, _, x4))
}.toDF
Spark 1.3 + 。
使用split
和explode
functions:
val df = Seq(("A", "B", "x,y,z", "D")).toDF("x1", "x2", "x3", "x4")
df.withColumn("x3", explode(split($"x3", ",")))
Spark 1.x
DataFrame.explode
(在Spark 2.x中弃用)
df.explode($"x3")(_.getAs[String](0).split(",").map(Tuple1(_)))