Question

我需要使用Scala API在Spark中编写一个场景。我将用户定义的函数传递给Dataframe，Dataframe逐个处理数据帧的每一行并返回元组（Row，Row）。如何将RDD（行，行）更改为Dataframe（行）？见下面的代码示例 -

**Calling map function-**
    val df_temp = df_outPut.map { x => AddUDF.add(x,date1,date2)}
**UDF definition.**
    def add(x: Row,dates: String*): (Row,Row) = {
......................
........................
    var result1,result2:Row = Row()
..........
    return (result1,result2)

现在df_temp是RDD（Row1，Row2）。我的要求是通过将元组元素分解为RDD或Dataframe的1条记录来使其成为一个RDD或Dataframe RDD（行）。感谢您的帮助。

Answer 1

您可以使用flatMap展平您的Row元组，例如，如果我们从此示例开始 rdd ：

rddExample.collect()
// res37: Array[(org.apache.spark.sql.Row, org.apache.spark.sql.Row)] = Array(([1,2],[3,4]), ([2,1],[4,2]))

val flatRdd = rddExample.flatMap{ case (x, y) => List(x, y) }
// flatRdd: org.apache.spark.rdd.RDD[org.apache.spark.sql.Row] = MapPartitionsRDD[45] at flatMap at <console>:35

将其转换为数据框。

import org.apache.spark.sql.types.{StructType, StructField, IntegerType}

val schema = StructType(StructField("x", IntegerType, true)::
                        StructField("y", IntegerType, true)::Nil)    
val df = sqlContext.createDataFrame(flatRdd, schema)
df.show
+---+---+
|  x|  y|
+---+---+
|  1|  2|
|  3|  4|
|  2|  1|
|  4|  2|
+---+---+

Spark - 如何将地图功能输出（行，行）元组转换为一个Dataframe

1 个答案: