Apache Beam:从数据重新创建窗口

时间:2019-06-19 15:44:45

标签: apache-beam

我有一个创建会话窗口的管道 A 。会话窗口将发布到PubSub < key, { window_start, window_end, count, key } >

在第二个管道 B 中,我想从另一个数据集中创建分钟窗口,并将其与 A 中的会话窗口一起加入。

如果会话窗口和分钟窗口都发生在同一管道中,则这里的解决方案很简单。由于coGroupByKey知道如何加入窗口化的PCollections。

如何从管道 B 中的管道 A 重新创建形成的窗口,以对其进行进一步处理?

是否可以从 B 中的PubSub主题映射记录,并为每个记录实例化一个窗口,然后照常继续操作?

0 个答案:

没有答案