在Scala中将Groupby转换为ReduceByKey for Spark

时间:2018-12-12 01:07:23

标签: scala apache-spark mapreduce apache-spark-sql rdd

如何将以下scala片段转换为使用ReduceBy结构而不是现有的groupBy。数据集为DataFrame格式。

val logsDf = myDf
      .groupBy(COL_Key)
      .agg(
        first(COL_Val1, true),
        first(COL_Val2, true),
        first(COL_Val3, true))

0 个答案:

没有答案