Question

我在Google云端平台上运行Dataflow-Jobs，我得到的一个新错误是＃34;工作流程失败＆＃34;没有任何解释。我得到的日志如下：

 2017-08-25 (00:06:01) Executing operation ReadNewXXXFromStorage/Read+JsonStringsToXXX+RemoveLanguagesFromXXX...
 2017-08-25 (00:06:01) Executing operation ReadOldXYZ_ABC_1234_123_ns_123123123123123/GroupByKey/Create
 2017-08-25 (00:06:01) Starting 1 workers in europe-west1-b...
 2017-08-25 (00:06:01) Executing operation ReadOldXYZ_ABC_1234_123_ns_123123123123123/ParDo(SplitQuery)+ReadOldXYZ...
 2017-08-25 (00:06:48) Workflow failed.
 2017-08-25 (00:06:48) Stopping worker pool...
 2017-08-25 (00:06:58) Worker pool stopped.

我怎么知道什么是错的？它不应该是对象权限的问题，因为类似的作业成功运行。当我尝试从Google Cloud Console重新运行模板时，收到消息：

找不到此模板的元数据文件

但是我能够启动模板，现在它可以成功运行。这可能与超额配额有关吗？我们刚刚增加了数据流的CPU和IP配额，并且我将并行运行的作业从5增加到15，以便能够使用配额。当我重新运行模板而没有运行任何其他作业时，一切似乎都能正常工作。

任何输入都非常感谢。感谢

编辑：似乎乔布斯因为超出了CPU配额而失败了，但通常我们会得到一个错误描述，其中说“＃34;无法产生足够的工人＆＃34;”。尽管如此，在减少每份工作的最大工人数量后，一切正常，因此我们的配额不能超过。

Answer 1

我相信找到了此模板的＃34; No元数据文件＆＃34;应该被视为警告，而不是错误。模板能够拥有＆＃34;元数据＆＃34;与之关联的文件，允许验证参数。如果没有这样的文件，参数就不会被验证，但其他一切都正常 - 消息只是这种情况的指标。

听起来问题是由于其他原因导致的工作无法解决。根据您的描述和编辑，听起来这是因为缺乏运行工作的配额。

谷歌数据流＆＃34;工作流程失败＆＃34;没有理由

1 个答案: