数据流似乎被卡住了

时间:2017-09-11 15:51:05

标签: google-cloud-dataflow

刚收到此错误消息:

  

(941d0d42ab1c3aec):工作流程失败。原因:(941d0d42ab1c3675):数据流似乎卡住了。请通过http://stackoverflow.com/questions/tagged/google-cloud-dataflow与Dataflow小组联系。

请帮忙。

1 个答案:

答案 0 :(得分:0)

感谢您分享工作ID。从Stackdriver日志中,我看到工作虚拟机无法启动,因为他们无法从docker中获取容器映像:

Handler for GET /v1.23/images/dataflow.gcr.io/v1beta3/beam-java-batch:beam-0.6.0/json returned error: No such image: dataflow.gcr.io/v1beta3/beam-java-batch:beam-0.6.0

编辑:经过进一步检查,我发现这个工作没有上传的罐子。看来stagingFiles正在被一个csv文件覆盖:header_H-[..].csv

如果要指定getFilesToStage()选项,则还必须包含运行管道所需的完整jar文件列表。您可以在detectClassPathResourcesToStage(classLoader)中看到DataflowRunner如何做到这一点。

另外,此管道正在使用Dataflow SDK 0.6,目前已弃用。最新的1.x版本为1.9.1,您也可以升级到基于2.1.0Apache Beam