我正在使用Google Dataprep启动Dataflow工作,并且面临一些困难。
对于后台,我们使用Dataprep几周,在我们开始对服务帐户发出授权问题之前,它没有问题。当我们最终解决这个问题时,我们重新启动了我们用于启动的作业,但是他们失败了“数据流似乎被卡住了。”。
我们尝试了另一个非常简单的工作,但我们遇到了同样的错误。以下是完整的错误消息,一小时卡住后作业失败:
数据流 -
(1ff58651b9d6bab2): Workflow failed. Causes: (1ff58651b9d6b915): The Dataflow appears to be stuck.
Dataprep -
The Dataflow job (ID: 2017-11-15_00_23_23-9997011066491247322) failed. Please
contact Support and provide the Dataprep Job ID 20825 and the Dataflow Job ID.
似乎这种错误有各种各样的起源,我不知道从哪里开始。 提前致谢
答案 0 :(得分:1)
最佳途径是与Google支持小组联系。 该问题与数据流方面有关,需要对Google的数据流后端进行更多研究
答案 1 :(得分:1)
请检查项目的默认网络是否有任何更改。这是工人无法联系服务的常见原因,导致1小时超时。
更新
进一步研究后,编辑引擎的<project-number>-compute@developer.gserviceaccount.com
服务帐户在&#39;编辑器&#39;角色。这通常是自动创建的。可能之后被误删了。请参阅“计算引擎服务帐户”&#39; https://cloud.google.com/dataflow/security-and-permissions中的部分。
我们正在努力修复这些缺失权限的早期检测,以便故障更好地指出根本原因。
这意味着您的其他Dataflow作业也会失败。