数据流似乎被卡住了。 - 简单的工作

时间:2017-11-15 09:32:25

标签: google-cloud-dataflow google-cloud-dataprep

我正在使用Google Dataprep启动Dataflow工作,并且面临一些困难。

对于后台,我们使用Dataprep几周,在我们开始对服务帐户发出授权问题之前,它没有问题。当我们最终解决这个问题时,我们重新启动了我们用于启动的作业,但是他们失败了“数据流似乎被卡住了。”。

我们尝试了另一个非常简单的工作,但我们遇到了同样的错误。以下是完整的错误消息,一小时卡住后作业失败:

数据流 -

(1ff58651b9d6bab2): Workflow failed. Causes: (1ff58651b9d6b915): The Dataflow appears to be stuck.

Dataprep -

The Dataflow job (ID: 2017-11-15_00_23_23-9997011066491247322) failed. Please 
contact Support and provide the Dataprep Job ID 20825 and the Dataflow Job ID.

似乎这种错误有各种各样的起源,我不知道从哪里开始。 提前致谢

2 个答案:

答案 0 :(得分:1)

最佳途径是与Google支持小组联系。 该问题与数据流方面有关,需要对Google的数据流后端进行更多研究

答案 1 :(得分:1)

请检查项目的默认网络是否有任何更改。这是工人无法联系服务的常见原因,导致1小时超时。

更新

进一步研究后,编辑引擎的<project-number>-compute@developer.gserviceaccount.com服务帐户在&#39;编辑器&#39;角色。这通常是自动创建的。可能之后被误删了。请参阅“计算引擎服务帐户”&#39; https://cloud.google.com/dataflow/security-and-permissions中的部分。

我们正在努力修复这些缺失权限的早期检测,以便故障更好地指出根本原因。

这意味着您的其他Dataflow作业也会失败。