数据流作业挂起 - 没有给出警告或错误

Question

我们有一个从BigQuery读取的Dataflow管道。它试图读取~10M记录。一切看起来都很健康 - 没有错误或没有警告。但是当尝试从BigQuery读取时，工作就会挂起。我们离开了15分钟，但仍然读了0条记录。最后我们不得不取消这份工作。

一些示例作业ID

• 2015-06-24_17_55_06-15252989544958442335
• 2015-06-24_18_11_43-5648996119225591199

目前该服务有问题吗？

Answer 1

这是从BigQuery表读取的权限问题。但是，错误在作业中不可见。当我们启用云日志记录时，作业失败并显示错误。 Google工程师正在调查在未启用云日志记录时以及发生错误时作业挂起的原因。