Question

我试图在Spark / Scala中的以下数据框中对列进行求和，这本身是通过另一个数据框创建的。我使用这个答案作为指南：How to sum the values of one column of a dataframe in spark/scala

这是我的数据，从另一个聚合函数创建并分配给数据框：

+-------------+----+----+
|activityLabel| 1_3|4_12|
+-------------+----+----+
|           12|1075|   0|
|            1|   0|3072|
|            6|3072|   0|
|            3|   0|3072|
|            5|3072|   0|
|            9|3072|   0|
|            4|3072|   0|
|            8|3379|   0|
|            7|3072|   0|
|           10|3072|   0|
|           11|3072|   0|
|            2|   0|3072|
+-------------+----+----+

这是我创建数据框的代码：

def createRangeActivityLabels(df: DataFrame): Unit = {

  val activityRange: List[(Int, Int)] = List((1, 3), (4, 12))

  val exprs: List[Column] = activityRange.map {
    case (x, y) => {
      val newLabel = s"${x}_${y}"
      sum(when($"activityLabel".between(x, y), 0).otherwise(1)).alias(newLabel)
    }
  }

  val df3: DataFrame = df.groupBy($"activityLabel").agg(exprs.head, exprs.tail: _*)
  df3.show

这是获得总和的代码。我想要做的就是将标记为1_3（exprs.head）和4_12（exprs（1））的列相加

  val indexedLabel0: Int = df3.agg(sum(exprs.head)).first.getAs[Int](0)
}

我收到以下错误：org.apache.spark.sql.AnalysisException：不允许在另一个聚合函数的参数中使用聚合函数。请在子查询中使用内部聚合函数。;;

我尝试了多种解决方案来解决这个问题，但似乎没有任何效果。所有想法都赞赏。谢谢！

Answer 1

问题是exprs.head评估为 sum(when($"activityLabel".between(x, y), 0).otherwise(1)).alias(newLabel)。当你尝试求和（exprs.head）时，它将评估总和。

我认为你只需要列名。

val columnsName: List[Column] = activityRange.map {
    case (x, y) => $"${x}_${y}"
}
val indexedLabel0 = df3.agg(sum(columnsName.head)).first.getAs[Long](0)

@ user8371915感谢关于返回类型

的正确答案

在Spark 2.2.0和Scala中

1 个答案: