Apache Beam Dataflow作业启动失败:工作流程失败

时间:2017-08-29 16:51:35

标签: google-cloud-dataflow apache-beam

我已经使用DataflowRunner运行批处理作业一个多星期没有问题但是从今天开始,工作开始失败,并显示以下错误消息。工人似乎没有启动,根本没有登录stackdriver。

我在这里缺少什么?

Dataflow SDK version: 2.0.0
Submitted job: 2017-08-29_09_43_20-9537473353894635176
2017-08-29 16:44:24 ERROR MonitoringUtil$LoggingHandler:101 - 2017-08-29T16:44:22.277Z: (54a5da9d57fd266d): Workflow failed.

修改 如果我从批处理运行中删除--zone = europe-west2-b,它会起作用,表明该区域可能有问题。

1 个答案:

答案 0 :(得分:1)

我看了看你的工作。它失败了,因为它无法获得配额来培养工人。可能你没有该区域的配额。此错误未正确处理,但应在下一版本中修复。