Question

我尝试创建具有以下条件的数据框：我有多个ID，具有默认值（0或1）的多个列以及一个startdate列。我想获取一个基于第一个开始日期（default_date）和每个ID的默认值的数据框。

原始df如下：

+----+-----+-----+-----+-----------+
|id  |def_a|def_b|deb_c|date       |
+----+-----+-----+-----+-----------+
|  01|    1|    0|    1| 2019-01-31|
|  02|    1|    1|    0| 2018-12-31|
|  03|    1|    1|    1| 2018-10-31|
|  01|    1|    0|    1| 2018-09-30|
|  02|    1|    1|    0| 2018-08-31|
|  03|    1|    1|    0| 2018-07-31|
|  03|    1|    1|    1| 2019-05-31|

这就是我想要的方式：

+----+-----+-----+-----+-----------+
|id  |def_a|def_b|deb_c|date       |
+----+-----+-----+-----+-----------+
|  01|    1|    0|    1| 2018-09-30|
|  02|    1|    1|    0| 2018-08-31|
|  03|    1|    1|    1| 2018-07-31|

我尝试了以下代码：

val w = Window.partitionBy($"id").orderBy($"date".asc) 
val reult = join3.withColumn("rn", row_number.over(w)).where($"def_a" === 1 || $"def_b" === 1 ||$"def_c" === 1).filter($"rn" >= 1).drop("rn")

结果显示

我将不胜感激

Answer 1

这应该为您工作。首先将最小日期分配给原始df，然后将新的df2与df结合。

import org.apache.spark.sql.expressions.Window

val df = Seq(
(1,1,0,1,"2019-01-31"),
(2,1,1,0,"2018-12-31"),
(3,1,1,1,"2018-10-31"),
(1,1,0,1,"2018-09-30"),
(2,1,1,0,"2018-08-31"),
(3,1,1,0,"2018-07-31"),
(3,1,1,1,"2019-05-31"))
.toDF("id"  ,"def_a" , "def_b", "deb_c", "date")

val w = Window.partitionBy($"id").orderBy($"date".asc) 

val df2 = df.withColumn("date", $"date".cast("date"))
            .withColumn("min_date", min($"date").over(w))
            .select("id", "min_date")
            .distinct()

df.join(df2, df("id") === df2("id") && df("date") === df2("min_date"))
.select(df("*"))
.show

输出应为：

+---+-----+-----+-----+----------+
| id|def_a|def_b|deb_c|      date|
+---+-----+-----+-----+----------+
|  1|    1|    0|    1|2018-09-30|
|  2|    1|    1|    0|2018-08-31|
|  3|    1|    1|    0|2018-07-31|
+---+-----+-----+-----+----------+

顺便说一句，我相信您的预期结果有一些错误。是(3, 1, 1, 0, 2018-07-31)而不是(3, 1, 1, 1, 2018-07-31)

如何基于首次出现的日期和每个id列的其他列创建数据框

1 个答案: