Question

我在Zeppelin笔记本上使用Spark，而groupByKey（）似乎不起作用。

此代码：

df.groupByKey(row => row.getLong(0))
  .mapGroups((key, iterable) => println(key))

给我这个错误（可能是一个编译错误，因为它在我正在处理的数据集很快就显示出来了）：

error: Unable to find encoder for type stored in a Dataset.  Primitive types (Int, String, etc) and Product types (case classes) are supported by importing spark.implicits._  Support for serializing other types will be added in future releases.

我尝试添加一个案例类并将所有行映射到其中，但仍然出现相同的错误

import spark.implicits._

case class DFRow(profileId: Long, jobId: String, state: String)

def getDFRow(row: Row):DFRow = {
    return DFRow(row.getLong(row.fieldIndex("item0")),
                 row.getString(row.fieldIndex("item1")), 
                 row.getString(row.fieldIndex("item2")))
}

df.map(DFRow(_))
  .groupByKey(row => row.getLong(0))
  .mapGroups((key, iterable) => println(key))

我的Dataframe的架构是：

root
|-- item0: long (nullable = true)
|-- item1: string (nullable = true)
|-- item2: string (nullable = true)

Answer 1

您正在尝试mapGroups使用函数(Long, Iterator[Row]) => Unit并且Encoder没有Unit（并不是说有{1}}是有意义的。

Dataset API的一般部分没有关注SQL DSL（DataFrame => DataFrame，DataFrame => RelationalGroupedDataset，RelationalGroupedDataset => DataFrame，RelationalGroupedDataset => RelationalGroupedDataset）要求隐含或输出值的显式编码器。

由于Row个对象没有预定义的编码器，因此使用Dataset[Row]方法设计静态类型数据并不是很有意义。根据经验，您应该始终首先转换为静态类型变体：

df.as[(Long, String, String)]

另见Encoder error while trying to map dataframe row to updated row

Spark错误：无法找到存储在数据集中的类型的编码器

1 个答案: