Question

有两个rdds。

val pairRDD1 = sc.parallelize(List( ("cat",2), ("girl", 5), ("book", 4),("Tom", 12)))
val pairRDD2 = sc.parallelize(List( ("cat",2), ("cup", 5), ("mouse", 4),("girl", 12)))

然后我会做这个连接操作。

val kk = pairRDD1.fullOuterJoin(pairRDD2).collect

它显示如下：

kk: Array[(String, (Option[Int], Option[Int]))] = Array((book,(Some(4),None)), (Tom,(Some(12),None)), (girl,(Some(5),Some(12))), (mouse,(None,Some(4))), (cup,(None,Some(5))), (cat,(Some(2),Some(2))))

如果我想将NONE填充为0并将Option[int]转换为Int。我应该编码什么？谢谢！

Answer 1

您可以在mapValues上使用kk，如下所示（请注意这是collect之前）：

pairRDD1.fullOuterJoin(pairRDD2).mapValues(pair => (pair._1.getOrElse(0), pair._2.getOrElse(0)))

您可能必须在collect RDD之前执行此操作，否则您可以这样做：

kk.map { case (k, pair) => (k, (pair._1.getOrElse(0), pair._2.getOrElse(0))) }

Answer 2

根据第一个答案中的commnets，如果你使用DataFrames很好，你可以使用任意数量的列数据帧。

val ss = SparkSession.builder().master("local[*]").getOrCreate()
    val sc = ss.sparkContext

    import ss.implicits._

    val pairRDD1 = sc.parallelize(List(("cat", 2,9999), ("girl", 5,8888), ("book", 4,9999), ("Tom", 12,6666)))
    val pairRDD2 = sc.parallelize(List(("cat", 2,9999), ("cup", 5,7777), ("mouse", 4,3333), ("girl", 12,1111)))

    val df1 = pairRDD1.toDF
    val df2 = pairRDD2.toDF

    val joined = df1.join(df2, df1.col("_1") === df2.col("_1"),"fullouter")
    joined.show()

这里_1,_2 e.t.c是Spark提供的默认列名。但是，如果您希望使用正确的名称，可以根据需要进行更改。

结果：

+----+----+----+-----+----+----+
|  _1|  _2|  _3|   _1|  _2|  _3|
+----+----+----+-----+----+----+
|girl|   5|8888| girl|  12|1111|
| Tom|  12|6666| null|null|null|
| cat|   2|9999|  cat|   2|9999|
|null|null|null|  cup|   5|7777|
|null|null|null|mouse|   4|3333|
|book|   4|9999| null|null|null|
+----+----+----+-----+----+----+

从已连接的RDD中删除Option类型

2 个答案: