使用[Key，ValueFromList1]，[Key，ValueFromList2]将RDD [Key，List [Value]]转换为RDD

Question

我是Spark和转型的新手，所以需要一些帮助。我设法找到了逆向解决方案。当你把一个值放入一个列表而不是来自。我想“扁平化”我想钥匙的价值。我有一个像地图的RDD，其中Key是Int，值是字符串列表。我需要将Key和列表中的每个Value组合成一个RDD。

Answer 1

您可以使用flatMap，然后将每个元素映射到像这样的元组

val flattenedRDD = pairRDD.flatMap { case (i,l)  => l.map( l => (i,l)) }