将延迟事件放到DoFn中

时间:2018-06-19 13:15:34

标签: apache-beam

在开窗方面,由于缺乏更复杂的数据驱动触发器,我发现Beam API不足。因此,我尝试实现包含自定义窗口逻辑(类似于Processing Total Ordering of Events By Key using Apache Beam的自定义DoFn)。

不幸的是,我遇到了放弃后期事件的问题。更准确地说,在DoFn中,我无权访问当前水印,因此,我无法判断传入事件是否超出允许的延迟时间。

您对如何正确删除管道中DoFn或更早版本中的较晚事件有任何建议吗?

谢谢!

0 个答案:

没有答案