刚收到此错误消息:
(941d0d42ab1c3aec):工作流程失败。原因:(941d0d42ab1c3675):数据流似乎卡住了。请通过http://stackoverflow.com/questions/tagged/google-cloud-dataflow与Dataflow小组联系。
请帮忙。
答案 0 :(得分:0)
感谢您分享工作ID。从Stackdriver日志中,我看到工作虚拟机无法启动,因为他们无法从docker中获取容器映像:
Handler for GET /v1.23/images/dataflow.gcr.io/v1beta3/beam-java-batch:beam-0.6.0/json returned error: No such image: dataflow.gcr.io/v1beta3/beam-java-batch:beam-0.6.0
编辑:经过进一步检查,我发现这个工作没有上传的罐子。看来stagingFiles正在被一个csv文件覆盖:header_H-[..].csv
。
如果要指定getFilesToStage()
选项,则还必须包含运行管道所需的完整jar文件列表。您可以在detectClassPathResourcesToStage(classLoader)
中看到DataflowRunner
如何做到这一点。
另外,此管道正在使用Dataflow SDK 0.6,目前已弃用。最新的1.x版本为1.9.1,您也可以升级到基于2.1.0的Apache Beam。