数据流管道由于“分段包jar”而失败

时间:2017-01-16 04:32:16

标签: google-cloud-dataflow

数据流作业(标识为2017-01-15_19_15_22-2979660111155895381)失败,出现以下错误,我们不知道为什么会这样。我们每天从同一台机器运行大约100个数据流作业,并且大约在同一时间(前后)其他作业成功启动,因此我认为这不是由于谷歌云服务帐户(尽管错误消息表明如此) )。 数据流团队是否能够挖掘并让我们知道发生了什么?

(ce2f98d99f483fed): Staged package commons-codec-1.6-WXD1SIO0gxskuX8RJbon5g.jar at location 'gs://.../commons-codec-1.6-WXD1SIO0gxskuX8RJbon5g.jar' is inaccessible.
2017-01-15 (19:15:30) Workflow failed. Causes: (ce2f98d99f48346e): One or more access checks for temp location or staged f...
(edd80087cf3fc85d): Workflow failed. Causes: (ce2f98d99f48346e): One or more access checks for temp location or staged files failed. Please refer to other error messages for details. For more information on security and permissions, please see https://cloud.google.com/dataflow/security-and-permissions.

编辑:在过去的48小时内,我们看到5-6个不同的工作由于类似问题而失败(暂存的jar文件无法访问或最终确定'gcs的写入步骤'失败)。除了旧帖子(Google Cloud Dataflow jobs failing, inaccessible jars & 410 gone errors)之外,我找不到与此相关的任何内容。

1 个答案:

答案 0 :(得分:1)

这是我们在GCS中遇到的瞬态错误。作为一种解决方法,您可以做的是删除暂存存储桶的所有内容并再次上传所有内容。

我们在管道的每个新版本中执行清理,即使这不是必需的。