在将数据流从命令行执行转换为可临时执行时,我遇到了以下问题。
数据流启动但在以下日志消息之后挂起处于加载状态:
(71df0de383b642bd):在Europe-west2-a开始1名工人......
一小时后,似乎是一个超时触发器,数据流停止并显示以下日志消息:
(84598aaa4185b9a0):工作流程失败。原因:(84598aaa4185b571):数据流似乎卡住了。请通过http://stackoverflow.com/questions/tagged/google-cloud-dataflow与Dataflow小组联系。
我遵循了https://cloud.google.com/dataflow/docs/templates/creating-templates的翻译指南。我使用“RuntimeValueProvider”来捕获我通常通过命令行插入的所有参数。
我可以得到任何帮助吗?
答案 0 :(得分:2)
似乎在创建时,我只设置了--zone
参数而没有--region
参数。这会导致模板文件的--region
选项设置为默认值(" us-central1"此刻)并将--zone
选项保留为我拥有的任何内容设置它。就我而言,这是" europe-west1-b"。
因此,拥有--region us-central1
和--zone europe-west1-b
的模板失败了。有点逻辑到底。但是......对此没有任何反馈。因为如果您在创建模板时未设置--region
标志,则不会在信息窗格中呈现默认值。因此,如果可以将这些值呈现到右侧的信息窗格中,则可能会派上用场。或者甚至突出可能导致这种失败的不匹配。
现在,最后,我使用--region europe-west1
和--zone europe-west1-b
创建了我的模板来解决此问题。 (我认为它也没有补充--zone
选项,但我只选了一个)
非常感谢巴勃罗,指点我到这些地区。我的模板现在正常工作。