Google Cloud Dataflow管道中的延迟非常高

时间:2019-07-19 18:43:51

标签: google-cloud-dataflow

下面是我在Google Cloud Dataflow上运行的数据流作业的图片。

它从发布/订阅主题中读取消息,并按照图片运行几个步骤。

一段时间后,等待时间开始线性增加,而没有停止。我也意识到没有数据项流到管道的输出。请参阅图片上标记的图表。

此外,Pubsub监视显示消息不再被使用。最古老的未确认消息的时间也呈线性增加。

是什么原因导致延迟增加?

图像中显示的30个错误是由于内存不足或某个步骤中的“处理卡住”而造成的。我无法猜测工作进程是否因内存阻塞而耗尽了内存,反之亦然。

是什么原因导致步骤陷入困境?

显然有一个时间点使数据流延迟开始增加。

enter image description here

0 个答案:

没有答案