Question

我需要一组记录：

1）按'日期'，'城市'和'亲切'分组

2）按'奖

对每个组进行排序

在我的代码中：

import org.apache.spark.SparkConf
import org.apache.spark.SparkContext

object Sort {

  case class Record(name:String, day: String, kind: String, city: String, prize:Int)

  val recs = Array (
      Record("n1", "d1", "k1", "c1", 10),
      Record("n1", "d1", "k1", "c1", 9),
      Record("n1", "d1", "k1", "c1", 8),
      Record("n2", "d2", "k2", "c2", 1),
      Record("n2", "d2", "k2", "c2", 2),
      Record("n2", "d2", "k2", "c2", 3)
      )

  def main(args: Array[String]): Unit = {
    val conf = new SparkConf()
      .setAppName("Test")
      .set("spark.executor.memory", "2g")
    val sc = new SparkContext(conf)
    val rs = sc.parallelize(recs)
    val rsGrp = rs.groupBy(r => (r.day, r.kind, r.city)).map(_._2)
    val x = rsGrp.map{r => 
      val lst = r.toList
      lst.map{e => (e.prize, e)}
      }
    x.sortByKey()
  }

}

当我尝试对组进行排序时，我收到错误：

value sortByKey is not a member of org.apache.spark.rdd.RDD[List[(Int, 
 Sort.Record)]]

有什么问题？怎么排序？

Answer 1

您需要定义一个Key，然后使用mapValues对它们进行排序。

import org.apache.spark.{SparkContext, SparkConf}
import org.apache.spark.rdd.RDD
import org.apache.spark.SparkContext._

  object Sort {

    case class Record(name:String, day: String, kind: String, city: String, prize:Int)

    // Define your data

    def main(args: Array[String]): Unit = {
      val conf = new SparkConf()
        .setAppName("Test")
        .setMaster("local")
        .set("spark.executor.memory", "2g")
      val sc = new SparkContext(conf)
      val rs = sc.parallelize(recs)

      // Generate pair RDD neccesary to call groupByKey and group it
      val key: RDD[((String, String, String), Iterable[Record])] = rs.keyBy(r => (r.day, r.city, r.kind)).groupByKey

      // Once grouped you need to sort values of each Key
      val values: RDD[((String, String, String), List[Record])] = key.mapValues(iter => iter.toList.sortBy(_.prize))

      // Print result
      values.collect.foreach(println)
    }
}

Answer 2

groupByKey很贵，它有两个含义：

大部分数据平均在剩余的N-1个分区中进行洗牌。
同一个密钥的所有记录都会在单个执行程序的内存中加载，从而可能导致内存错误。

根据您的使用情况，您有更好的选择：

如果您不关心订购，请使用reduceByKey或aggregateByKey。
如果你想在没有任何转换的情况下进行分组和排序，请选择使用repartitionAndSortWithinPartitions（Spark 1.3.0+ http://spark.apache.org/docs/latest/api/scala/index.html#org.apache.spark.rdd.OrderedRDDFunctions），但要非常小心你指定的分区并测试它，因为你现在依赖于副作用这可能会改变不同环境中的行为。另请参阅此存储库中的示例：https://github.com/sryza/aas/blob/master/ch08-geotime/src/main/scala/com/cloudera/datascience/geotime/RunGeoTime.scala。
如果要应用转换或非可简化聚合（折叠或扫描）应用于已排序记录的可迭代，请查看此库：spark-sorted https://github.com/tresata/spark-sorted。它为配对的rdds提供了3个API：mapStreamByKey，foldLeftByKey和scanLeftByKey。

Answer 3

将map替换为flatMap

val x = rsGrp.map{r => 
  val lst = r.toList
  lst.map{e => (e.prize, e)}
  }

这会给你一个

org.apache.spark.rdd.RDD[(Int, Record)] = FlatMappedRDD[10]

然后你可以在上面的RDD上调用sortBy（_._ 1）。

Answer 4

作为@gasparms解决方案的替代方案，我认为可以尝试过滤后跟rdd.sortyBy操作。您筛选满足关键条件的每条记录。先决条件是您需要跟踪所有密钥（过滤器组合）。您还可以在遍历记录时构建它。

Spark：按组排序记录？

4 个答案: