模板化数据流在加载时挂起超过一小时,并退出并显示错误

时间:2017-11-03 10:17:48

标签: python google-cloud-dataflow

在将数据流从命令行执行转换为可临时执行时,我遇到了以下问题。

数据流启动但在以下日志消息之后挂起处于加载状态:

  

(71df0de383b642bd):在Europe-west2-a开始1名工人......

一小时后,似乎是一个超时触发器,数据流停止并显示以下日志消息:

  

(84598aaa4185b9a0):工作流程失败。原因:(84598aaa4185b571):数据流似乎卡住了。请通过http://stackoverflow.com/questions/tagged/google-cloud-dataflow与Dataflow小组联系。

我遵循了https://cloud.google.com/dataflow/docs/templates/creating-templates的翻译指南。我使用“RuntimeValueProvider”来捕获我通常通过命令行插入的所有参数。

我可以得到任何帮助吗?

1 个答案:

答案 0 :(得分:2)

似乎在创建时,我只设置了--zone参数而没有--region参数。这会导致模板文件的--region选项设置为默认值(" us-central1"此刻)并将--zone选项保留为我拥有的任何内容设置它。就我而言,这是" europe-west1-b"。

因此,拥有--region us-central1--zone europe-west1-b的模板失败了。有点逻辑到底。但是......对此没有任何反馈。因为如果您在创建模板时未设置--region标志,则不会在信息窗格中呈现默认值。因此,如果可以将这些值呈现到右侧的信息窗格中,则可能会派上用场。或者甚至突出可能导致这种失败的不匹配。

现在,最后,我使用--region europe-west1--zone europe-west1-b创建了我的模板来解决此问题。 (我认为它也没有补充--zone选项,但我只选了一个)

非常感谢巴勃罗,指点我到这些地区。我的模板现在正常工作。