流数据流系统滞后问题每隔几天

时间:2018-10-31 08:16:23

标签: google-cloud-dataflow

我有一个流数据流作业(SDK 2.7.0)。它会侦听pub / sub主题,在时间窗口内进行一些汇总,然后输出到pub / sub和Google存储。

每隔几天,堆栈驱动程序中的“系统滞后” /“数据水印”计数器将迅速增加。如果我忽略它,那么作业处理将停止(不会将任何内容写入输出主题)。 我当前的解决方案是更新作业(不停止它,并使用相同的代码),它替换了工作实例,并在几分钟后解决了问题。但我怀疑这是否是正确的方法...

这是平台问题吗?如果没有,关于我在做什么错的任何建议?

0 个答案:

没有答案