无论如何都要轮询正在运行的数据流管道的系统水印？

Question

这一切都在标题中。我想在我的流媒体作业的顶部运行批处理，并且能够看到水印作为何时开始的指示将是非常好的。

Answer 1

您可以通过使用pubsub发布一个可以触发您想要的外部处理的信号来实现此目的。

要控制该信号的频率，您可以使用ParDo根据可能考虑事件时间戳的某些标准来过滤记录。

如果你明确想要使用水印，你可以尝试使用窗口和触发器在水印经过一段时间后产生记录。

我认为没有任何明确的方法可以访问水印。