将生成的Rdd转换为HashMap

Question

我需要将rdd转换为hashMap。我在RDD中有数据如下：

（水果，名单（苹果，香蕉，芒果））（蔬菜，名单（马铃薯，番茄））

我目前正在使用以下代码

object JsonParse {

 def main(args: Array[String]){


val sc = new SparkContext(new SparkConf().setAppName("JsonParse").setMaster("local"))

val arr = Array(("FRUIT",List("Apple","Banana","Mango")),("VEGETABLE", List("Potato","Tomato")))

val Rdd = sc.parallelize(arr)

如何进一步继续？

Answer 1

rdd.collectAsMap() // Map(VEGETABLE -> List(Potato, Tomato), FRUIT -> List(Apple, Banana, Mango))

Answer 2

尝试

rdd.collect.toMap

将其转换为Map。操作collect将rdd的内容本地收集到主节点。