我有一个已经计算了date和days_diff值的数据框。
目标用于提取以下日期的每个日期：
- days_diff值> 90
-具有累计days_diff值> 90
II认为将需要累加计算。所以我们要做的是：
在days_diff上应用一个累加运算，但是当累加达到特定数字时，它应该倒计时。
我将提供与我使用的几乎相同的数据。让我们将此限制固定为90并创建我们的数据框：
from pyspark.sql.functions import *
from pyspark.sql.Window import *
limit = 90
# We'll try to find it with a null value that shouldn't bother us
values = [(1, '2018-12-26', 7), (1, '2018-12-19', 5), (1, '2018-12-14', 38),
(1, '2018-11-06', 10), (1, '2018-10-27', 61), (1, '2018-08-27', 17),
(1, '2018-08-10', 37), (1, '2018-07-04', 1), (1, '2018-07-03', 1),
(1, '2018-07-02', 3), (1, '2018-06-29', 51), (1, '2018-05-09', 5),
(1, '2018-05-04', 22), (1, '2018-04-12', 58), (1, '2018-02-13', 13)
(1, '2018-01-31', None)]
df = spark.createDataFrame(values, ['id', 'date', 'days_diff']).orderBy('date')
df.show()
+---+----------+---------+
| id| date|days_diff|
+---+----------+---------+
| 1|2018-01-31| null|
| 1|2018-02-13| 13|
| 1|2018-04-12| 58|
| 1|2018-05-04| 22|
| 1|2018-05-09| 5|
| 1|2018-06-29| 51|
| 1|2018-07-02| 3|
| 1|2018-07-03| 1|
| 1|2018-07-04| 1|
| 1|2018-08-10| 37|
| 1|2018-08-27| 17|
| 1|2018-10-27| 61|
| 1|2018-11-06| 10|
| 1|2018-12-14| 38|
| 1|2018-12-19| 5|
| 1|2018-12-26| 7|
+---+----------+---------+
这是我发现在days_diff内计算总和的一种方法：
win_spec = (Window.orderBy('id', 'date').rowsBetween(Window.unboundedPreceding, 0))
df_cum = df.withColumn('days_diff_cumsum', sum(df.days_diff).over(win_spec))
它给我们：
+---+----------+---------+----------------+
| id| date|days_diff|diff_days_cumsum|
+---+----------+---------+----------------+
| 1|2018-01-31| null| null|
| 1|2018-02-13| 13| 13|
| 1|2018-04-12| 58| 71|
| 1|2018-05-04| 22| 93|
| 1|2018-05-09| 5| 98|
| 1|2018-06-29| 51| 149|
| 1|2018-07-02| 3| 152|
| 1|2018-07-03| 1| 153|
| 1|2018-07-04| 1| 154|
| 1|2018-08-10| 37| 191|
| 1|2018-08-27| 17| 208|
| 1|2018-10-27| 61| 269|
| 1|2018-11-06| 10| 279|
| 1|2018-12-14| 38| 317|
| 1|2018-12-19| 5| 322|
| 1|2018-12-26| 7| 329|
+---+----------+---------+----------------+
有人有进一步的想法吗？