云数据流作业失败

时间:2015-07-20 00:37:34

标签: google-cloud-dataflow

我们的云数据流作业今天早上失败,出现以下错误:

  

2015年7月20日上午7:02:57(41114dff4e115290):工作流程失败。原因:   (ba1dfdda2b6af333):Step的Map任务完成   " Clicks_07_2015-BQ-读+ Clicks_07_2015-ParDoDFP变换+ Clicks_07_2015-BQ-WRITE"   失败。原因:(3bcd8d4fd3828211):没有导出的文件   " GS://path/to/file/*.json"   表格" Clicks_07_2015"在数据集中   " - 数据集 - "在项目" { - 项目 - id - }"。

此作业在过去几天内一直运行成功,没有任何代码更改,今天早上失败了。我们可以看到这个云存储文件夹中有一个json文件,所以我不确定为什么这可能会失败。这是一个错误吗?

工作ID:2015-07-19_14_01_42-8050965853069761045

1 个答案:

答案 0 :(得分:2)

当表格从BigQuery导出到云存储时,它们受制于该系统的最终一致性属性。在这种情况下,似乎在重复重试后索引仍然过时,此时Dataflow未能通过该作业。我们会更好地处理这个案例,感谢您的耐心等待。

这种情况很少发生,但您可能会发现在重试循环中运行CLI以解决此问题很有用。

https://cloud.google.com/dataflow/pipelines/dataflow-command-line-intf