如何创建List [Row]类型的编码器以在spark中创建数据集[List [Row]]？

Question

基本上，我正在表演＆＃39; groupbyKey＆＃39;其次是＆＃39; mapGroups＆＃39;火花数据框的转换。 ＆＃39; mapGroups＆＃39;将产生数据集[U]，这需要一个类型为“U＆＃39;”的编码器。我正在将每组值转换为List [Row]类型，因为我必须传递一个Encoder。我能够创建类型＆＃39; Row＆＃39;通过其架构，但不知道如何为列表[行]＆＃39;创建编码器。数据类型。

import sqlContext.implicits._
import org.apache.spark.sql._
import org.apache.spark.sql.catalyst.encoders._
val groupedDataset = df.repartition($"_id")
                        .groupByKey(row => row.getAs[Long]("_id"))
                        .mapGroups((key,value) => value.toList)( ??? Here Encoder of List[Row] is Required ???)`

Answer 1

你可以使用Seq和import spark.implicits._ 但如果您使用

，则不需要实现它

CarBookingPolicy