Question

我的spark数据框如下所示：

+-------+------+-------+------+------+
|userid1|time  |userid2|name1 |name2 |
+-------+------+-------+------+------+
|23     |1     |33     |user1 |user2 | 
|23     |2     |33     |new   |user2 |
|231    |1     |23     |231n  |new   |
|231    |4     |33     |231n  |user2 |
+-------+------+-------+------+------+

每行有2个用户ID，具有对应的名称，但只有一次。

我想获取每个用户的最新名称。就像结合userid1和userid2列一样。

结果应为：

+------+-----------+
|userid|latest name|
+------+-----------+
|23    |new        |
|33    |user2      |
|231   |231n       |
+------+-----------+

我该怎么做？

我正在考虑使用partitonBy，但是我不知道如何合并列userid1和userid2的结果并获得最新名称。

我也在考虑使用rdd.flatMap((row => row._1 -> row._2),(row => row._3 -> row._2)).reduceByKey(_ max _)) 但是它是数据帧，而不是rdd，我不确定语法。 daatframe中的col和$确实使我感到困惑。（对不起，我是Spark的新手。）

Answer 1

可以请您尝试此解决方案吗？

import spark.implicits._

val users = Seq(
  (23, 1, 33, "user1", "user2"),
  (23, 2, 33, "new", "user2"),
  (231, 1, 23, "231", "new"),
  (231, 4, 33, "231", "user2")
).toDF("userid1", "time", "userid2", "name1", "name2")

val users1 = users.select(col("userid1").as("userid"), col("name1").as("name"), col("time"))
val users2 = users.select(col("userid2").as("userid"), col("name2").as("name"), col("time"))

val unitedUsers = users1.union(users2)

val resultDf = unitedUsers
  .withColumn("max_time", max("time").over(Window.partitionBy("userid")))
  .where(col("max_time") === col("time"))
  .select(col("userid"), col("name").as("latest_name"))
  .distinct()

如何在Scala中对数据框中的多列进行mapreduce？

1 个答案: