Question

如果我有一个rdd accross集群，我想做单词计数

不仅要计算出现次数，我想得到频率，定义为计数/总计数

scala中最好和最有效的方法是什么？如何在一个工作流程内同时进行减少工作并计算总数？

BTW我知道纯粹的字数可以通过这种方式完成。

text_file = spark.textFile("hdfs://...")
counts = text_file.flatMap(lambda line: line.split(" ")) \
             .map(lambda word: (word, 1)) \
             .reduceByKey(lambda a, b: a + b)
counts.saveAsTextFile("hdfs://...")

但是如果我使用聚合有什么区别？在火花作业工作流程方面

    val result = pairs
       .aggregate(Map[String, Int]())((acc, pair) => 
            if(acc.contains(pair._1)) 
                acc ++ Map[String, Int]((pair._1, acc(pair._1)+1)) 
            else 
                acc ++ Map[String, Int]((pair._1, pair._2))
          , 
          (a, b) => 
              (a.toSeq ++ b.toSeq)
                 .groupBy(_._1)
                 .mapValues(_.map(_._2).reduce(_ + _))
       )

Answer 1

您可以使用此

val total = counts.map(x => x._2).sum() 
val freq  = counts.map(x => (x._1, x._2/total))

还存在 Accumulator 的概念，它是一个只写变量，您可以使用它来避免使用sum()操作，但您的代码需要进行大量更改。

字数（频率）spark rdd scala

1 个答案: