我们的云数据流作业今天早上失败,出现以下错误:
2015年7月20日上午7:02:57(41114dff4e115290):工作流程失败。原因: (ba1dfdda2b6af333):Step的Map任务完成 " Clicks_07_2015-BQ-读+ Clicks_07_2015-ParDoDFP变换+ Clicks_07_2015-BQ-WRITE" 失败。原因:(3bcd8d4fd3828211):没有导出的文件 " GS://path/to/file/*.json" 表格" Clicks_07_2015"在数据集中 " - 数据集 - "在项目" { - 项目 - id - }"。
此作业在过去几天内一直运行成功,没有任何代码更改,今天早上失败了。我们可以看到这个云存储文件夹中有一个json文件,所以我不确定为什么这可能会失败。这是一个错误吗?
工作ID:2015-07-19_14_01_42-8050965853069761045
答案 0 :(得分:2)
当表格从BigQuery导出到云存储时,它们受制于该系统的最终一致性属性。在这种情况下,似乎在重复重试后索引仍然过时,此时Dataflow未能通过该作业。我们会更好地处理这个案例,感谢您的耐心等待。
这种情况很少发生,但您可能会发现在重试循环中运行CLI以解决此问题很有用。
https://cloud.google.com/dataflow/pipelines/dataflow-command-line-intf