Question

有没有办法在 PySpark 中本地选择每个季度的最后一天？例如，在包含两列 - df 和 yyyy_mm_dd 的 sum 中。我如何在每个季度的最后一天返回 sum？对于当前/正在进行的季度，最好显示最大日期。

我查看了这个解决方案 Get First Date and Last Date of Current Quarter in Python? 并且它有效，但是我想知道是否有使用 PySpark 语法而不是 udf 的解决方案？

Answer 1

使用与 this answer 中类似的方法：

df2 = df.withColumn(
    'last_day',
    F.expr("""
        to_date(
            date_trunc('quarter', to_date(input_date) + interval 3 months)
        ) - interval 1 day
    """)
)

df2.show()
+----------+----------+
|input_date|  last_day|
+----------+----------+
|2020-01-21|2020-03-31|
|2020-02-06|2020-03-31|
|2020-04-15|2020-06-30|
|2020-07-10|2020-09-30|
|2020-10-20|2020-12-31|
|2021-02-04|2021-03-31|
+----------+----------+

然后您可以过滤 input_date == last_day

编辑：我可能误解了这个问题。您可以在季度使用 group by 并选择每个季度的最后一行来尝试这种方法：

from pyspark.sql import functions as F, Window

df2 = df.withColumn(
    'rn', 
    F.row_number().over(Window.partitionBy(F.year('input_date'), F.quarter('input_date')).orderBy(F.desc('input_date')))
)

df2.show()
+----------+---+
|input_date| rn|
+----------+---+
|2021-02-04|  1|
|2020-10-20|  1|
|2020-07-10|  1|
|2020-02-06|  1|
|2020-01-21|  2|
|2020-04-15|  1|
+----------+---+

并使用 rn = 1 过滤行，这应该是每个季度的最后一天。

Answer 2

您想删除重复数据并保留每个季度存在的最大日期。您可以将 trunc 与 Window 函数一起使用：

from pyspark.sql import Window
from pyspark.sql import functions as F

w = Window.partitionBy(F.trunc('date_col', 'quarter')).orderBy(F.col('date_col').desc())

df1 = df.withColumn("rn", F.row_number().over(w)) \
        .filter("rn = 1") \
        .drop("rn")

季度的最后一天

2 个答案: