我的spark数据框如下所示:
+-------+------+-------+------+------+
|userid1|time |userid2|name1 |name2 |
+-------+------+-------+------+------+
|23 |1 |33 |user1 |user2 |
|23 |2 |33 |new |user2 |
|231 |1 |23 |231n |new |
|231 |4 |33 |231n |user2 |
+-------+------+-------+------+------+
每行有2个用户ID,具有对应的名称,但只有一次。
我想获取每个用户的最新名称。就像结合userid1
和userid2
列一样。
结果应为:
+------+-----------+
|userid|latest name|
+------+-----------+
|23 |new |
|33 |user2 |
|231 |231n |
+------+-----------+
我该怎么做?
我正在考虑使用partitonBy
,但是我不知道如何合并列userid1
和userid2
的结果并获得最新名称。
我也在考虑使用rdd.flatMap((row => row._1 -> row._2),(row => row._3 -> row._2)).reduceByKey(_ max _))
但是它是数据帧,而不是rdd,我不确定语法。 daatframe中的col和$确实使我感到困惑。(对不起,我是Spark的新手。)
答案 0 :(得分:1)
可以请您尝试此解决方案吗?
import spark.implicits._
val users = Seq(
(23, 1, 33, "user1", "user2"),
(23, 2, 33, "new", "user2"),
(231, 1, 23, "231", "new"),
(231, 4, 33, "231", "user2")
).toDF("userid1", "time", "userid2", "name1", "name2")
val users1 = users.select(col("userid1").as("userid"), col("name1").as("name"), col("time"))
val users2 = users.select(col("userid2").as("userid"), col("name2").as("name"), col("time"))
val unitedUsers = users1.union(users2)
val resultDf = unitedUsers
.withColumn("max_time", max("time").over(Window.partitionBy("userid")))
.where(col("max_time") === col("time"))
.select(col("userid"), col("name").as("latest_name"))
.distinct()