我有以下方式的数据集:
FieldA FieldB ArrayField
1 A {1,2,3}
2 B {3,5}
我想在 ArrayField 上分解数据,因此输出将按以下方式显示:
FieldA FieldB ExplodedField
1 A 1
1 A 2
1 A 3
2 B 3
2 B 5
我的意思是我想为 ArrayField 中的每个项目生成输出行,同时保留其他字段的值。
你将如何在Spark中实现它。 请注意,输入数据集非常大。
答案 0 :(得分:27)
explode功能应该完成。
pyspark版本:
>>> df = spark.createDataFrame([(1, "A", [1,2,3]), (2, "B", [3,5])],["col1", "col2", "col3"])
>>> from pyspark.sql.functions import explode
>>> df.withColumn("col3", explode(df.col3)).show()
+----+----+----+
|col1|col2|col3|
+----+----+----+
| 1| A| 1|
| 1| A| 2|
| 1| A| 3|
| 2| B| 3|
| 2| B| 5|
+----+----+----+
Scala版本
scala> val df = Seq((1, "A", Seq(1,2,3)), (2, "B", Seq(3,5))).toDF("col1", "col2", "col3")
df: org.apache.spark.sql.DataFrame = [col1: int, col2: string ... 1 more field]
scala> df.withColumn("col3", explode($"col3")).show()
+----+----+----+
|col1|col2|col3|
+----+----+----+
| 1| A| 1|
| 1| A| 2|
| 1| A| 3|
| 2| B| 3|
| 2| B| 5|
+----+----+----+
答案 1 :(得分:2)
您可以使用爆炸功能 以下是您案例的简单示例 import org.apache.spark.sql.functions ._
import spark.implicits._
val data = spark.sparkContext.parallelize(Seq(
(1, "A", List(1,2,3)),
(2, "B", List(3, 5))
)).toDF("FieldA", "FieldB", "FieldC")
data.withColumn("ExplodedField", explode($"FieldC")).drop("FieldC")
希望这有帮助!
答案 2 :(得分:1)
爆炸完全符合你的要求。文档:
http://spark.apache.org/docs/latest/api/python/pyspark.sql.html#pyspark.sql.functions.explode
此外,以下是使用它的另一个问题的示例: