从pubsub

时间:2019-01-14 07:14:45

标签: google-cloud-dataflow

我的数据流流作业突然停止,并且无法在6个小时内处理任何数据。

jobid是

工作A

  • n1-standard-2 /自动缩放/最大工人数28
  

2019-01-09_22_03_35-18168534482879725522

但是排空作业不起作用。

以便我不得不取消该工作。并重新启动新作业。

新工作编号是

工作B

  • n1-standard-2 /自动缩放/最大工作人员64
  

2019-01-11_15_57_09-478509697900780753

但是新工作也突然停止了。

然后将机器规格n1-standard-2升级到n1-standard-4。

工作C

  • n1-standard-4 /自动缩放/最大工作人员64
  

2019-01-11_17_59_05-4037692085955096168

然后。工作正常。

这是我的数据流系统滞后时间监视图。

滞后时间增加。

enter image description here

作业A和B中发生了什么?

堆栈驱动器中没有错误日志。

另外,在堆栈驱动程序监视中,数据流cpu资源也很好。

我想知道原因。

0 个答案:

没有答案