Google Cloud Data Flow作业失败,错误为“无法检索暂存文件:3次尝试均无法检索工作程序:MD5错误...”

时间:2018-12-17 22:07:30

标签: go google-cloud-dataflow apache-beam

SDK:适用于Go 0.5.0的Apache Beam SDK

我们正在Google Cloud Data Flow中运行Apache Beam Go SDK作业。直到最近间歇性停止工作时,它们一直工作良好(未对代码或配置进行任何更改)。发生的错误是:

Failed to retrieve staged files: failed to retrieve worker in 3 attempts: bad MD5 for /var/opt/google/staged/worker: ..., want ; bad MD5 for /var/opt/google/staged/worker: ..., want ;

(注意:似乎错误消息消息中缺少第二个哈希值。)

最好的是,我可以猜测worker出了点问题-似乎是在尝试比较worker的md5哈希值和缺少其中一个值?我不知道到底是什么。

有人知道什么可能导致此问题吗?

2 个答案:

答案 0 :(得分:0)

此问题的解决方法似乎是使用最新更改来重建worker_harness_container_image。我已经尝试过了,但是在本地构建时没有最新版本。在我从Beam仓库中获取最新版本并重建了图像(按照此处https://github.com/apache/beam/blob/master/sdks/CONTAINERS.md的说明)并重新运行后,它似乎又可以正常工作了。

答案 1 :(得分:0)

我看到的是同一件事。如果我查看Stackdriver日志,会看到以下内容:

Handler for GET /v1.27/images/apache-docker-beam-snapshots-docker.bintray.io/beam/go:20180515/json returned error: No such image: apache-docker-beam-snapshots-docker.bintray.io/beam/go:20180515

但是,我可以在本地很好地拖动图像。为什么数据流不能拉的任何想法。