根据pyspark中的时间范围拆分数据帧

时间:2020-11-10 08:28:23

标签: apache-spark pyspark

我有以下三种方式的数据:

time,data
2020-10-08 11:11:58, 12
2020-10-09 00:00:03, 06
2020-10-09 00:00:08, 49
2020-10-09 00:00:13, 67
2020-10-09 11:11:57, 39
2020-10-10 00:00:08, 12
2020-10-10 00:00:13, 15
2020-10-10 00:00:18, 19
2020-10-10 00:00:23, 25
2020-10-10 11:11:56, 25
2020-10-11 00:00:03, 25

我可以通过创建日期列,划分为分区然后在每个分区中求和来轻松地每日汇总。

当我必须在每天的最后一个时间戳到即将到来的日期的下一个时间戳(即2020-10-08 11:11:582020-10-09 11:11:57

)中进行相同的计算时,我不确定如何拆分它

任何帮助表示赞赏。

0 个答案:

没有答案
相关问题