下面是我在Google Cloud Dataflow上运行的数据流作业的图片。
它从发布/订阅主题中读取消息,并按照图片运行几个步骤。
一段时间后,等待时间开始线性增加,而没有停止。我也意识到没有数据项流到管道的输出。请参阅图片上标记的图表。
此外,Pubsub监视显示消息不再被使用。最古老的未确认消息的时间也呈线性增加。
是什么原因导致延迟增加?
图像中显示的30个错误是由于内存不足或某个步骤中的“处理卡住”而造成的。我无法猜测工作进程是否因内存阻塞而耗尽了内存,反之亦然。
是什么原因导致步骤陷入困境?
显然有一个时间点使数据流延迟开始增加。