Presto 中的并发事件计数

Question

我正在处理以下数据，

ds         id  start_time              end_time 
2021-01-07 111 2021-01-07 05:44:23.631 2021-01-07 06:11:42.619
2021-01-07 111 2021-01-07 06:33:18.526 2021-01-07 07:28:08.633
2021-01-07 111 2021-01-07 07:08:56.210 2021-01-07 08:15:43.504
2021-01-07 111 2021-01-07 08:10:28.784 2021-01-07 09:02:51.366
2021-01-07 111 2021-01-07 08:59:28.784 2021-01-07 09:02:51.366
2021-01-07 111 2021-01-07 10:20:44.060 2021-01-07 10:27:35.233
2021-01-07 111 2021-01-07 10:21:44.060 2021-01-07 10:28:35.233

我需要计算每个 ds 和 id 的并发事件数。在上面的数据中，第 2-3 行和第 3-4 行是并发的，但第 3-5 行不是（因为 3 结束后 5 开始）。同样，第 6-7 行是并发的。

方法：

• 按 ds、id 和 start_time 订购数据
• 对于每个 ds 和 id，将 row_number 1 分配给第一行，如果下一个事件在第一个结束之前开始，则分配行号 2，否则为 1。

棘手的部分：对于第 3 行，同时检查 1 和 2（以处理示例数据中的第 3-5 行等情况）

我主要使用 Python/Pandas 编写了一个函数来解决问题。该解决方案不可扩展，因为数据很大，而且我一次只能在 Jupyter 中加载约 500 万行。所以需要在 Presto 中找到可行的解决方案。

预期输出：

ds         id  start_time              end_time                   row_number
2021-01-07 111 2021-01-07 05:44:23.631 2021-01-07 06:11:42.619    1   
2021-01-07 111 2021-01-07 06:33:18.526 2021-01-07 07:28:08.633    1
2021-01-07 111 2021-01-07 07:08:56.210 2021-01-07 08:15:43.504    1
2021-01-07 111 2021-01-07 08:10:28.784 2021-01-07 09:02:51.366    2 --2nd concurrent event
2021-01-07 111 2021-01-07 08:59:28.784 2021-01-07 09:02:51.366    2 --still 2nd as this event started after end_time of row 3
2021-01-07 111 2021-01-07 10:20:44.060 2021-01-07 10:27:35.233    1
2021-01-07 111 2021-01-07 10:21:44.060 2021-01-07 10:28:35.233    2

row_number 将用于根据不同的并发计数阈值来分析数据。 我搜索了 SO 并尝试实现基于 this post 的解决方案，但遇到了 OutOfMemory 错误。希望得到一些关于这个的指针。