标签: apache-beam
在开窗方面,由于缺乏更复杂的数据驱动触发器,我发现Beam API不足。因此,我尝试实现包含自定义窗口逻辑(类似于Processing Total Ordering of Events By Key using Apache Beam的自定义DoFn)。
DoFn
不幸的是,我遇到了放弃后期事件的问题。更准确地说,在DoFn中,我无权访问当前水印,因此,我无法判断传入事件是否超出允许的延迟时间。
您对如何正确删除管道中DoFn或更早版本中的较晚事件有任何建议吗?
谢谢!