显示呼叫失败,并带有分组和聚合的数据框

时间:2019-06-26 14:56:09

标签: scala apache-spark

我试图在groupBy之后使用sum,

val b = a.groupBy($"key").agg(sum($"value"))

a的架构属于以下类型,

 |-- key: string (nullable = true)
 |-- value: integer (nullable = false)

b的模式具有以下类型,

 |-- key: string (nullable = true)
 |-- sum(value): long (nullable = true)

但是当我执行b.show时,会出现此错误。

cannot assign instance of scala.collection.immutable.List$SerializationProxy 
to field org.apache.spark.rdd.RDD.org$apache$spark$rdd$RDD$$dependencies_ 
of type scala.collection.Seq in instance of org.apache.spark.rdd.MapPartitionsRDD

该错误的原因可能是什么?我正在使用Spark 2.3.2,并使用Apache Zeppelin注释运行代码。

0 个答案:

没有答案