Question

如何使用Spark scala遍历RDD。我想打印Seq中存在的每个值以及相关的键

res1: org.apache.spark.rdd.RDD[(java.lang.String, Seq[java.lang.String])] = MapPartitionsRDD[6] at groupByKey at <console>:14

我尝试了以下代码。

val ss=mapfile.map(x=>{  
val key=x._1
val value=x._2.sorted
  var i=0
 while (i < value.length) {
   (key,value(i))
    i += 1
      }
    }     
  )
ss.top(20).foreach(println)

Answer 1

我尝试按如下方式转换您的代码：

val ss = mapfile.flatMap { 
  case (key, value) => value.sorted.map((key, _))
}
ss.top(20).foreach(println)

这是你想要的吗？

Answer 2

我尝试了此方法，它适用于如上所述的返回类型。

val ss=mapfile.map(x=>{case (key, value) => value.sorted.map((key, _))}.groupByKey().map(x=>(x._1,x._2.toSeq))

    ss.top(20).foreach(println)

注意：ss类型为：:: org.apache.spark.rdd.RDD [（java.lang.String，Seq [java.lang.String]）]

Spark scala RDD遍历

2 个答案: