Google云端数据流作业失败

Question

由于我们的某些Cloud Dataflow作业的自动缩放功能已开始失败。我在失败的工作中收到以下错误：

这是此错误的作业ID： 2016-01-26_12_02_19-12737268934091661877

我也有这个工作，通常需要1个小时，花了5个多小时： 2016-01-27_12_02_52-11776322710903149175

编辑：我关闭了自动缩放功能，今天早上运行的工作仍然很慢。差不多5个小时。

职位编号为：2016-01-28_12_03_39-5692230370814846330

Answer 1

在写入BigQuery时，Dataflow首先将所有数据写入GCS，然后运行BigQuery导入作业（有关详细信息，请参阅this thread）。

来自第一个作业的错误消息表明BigQuery导入作业存在问题。其他工作中的延迟似乎也与BigQuery工作有关。在这些情况下，您应该能够找到包含BigQuery作业ID的消息以及检查其状态的命令。

我们认为应该解决这些问题。您应该可以重新启用自动缩放而不会出现问题。请再次尝试运行作业，如果您继续遇到问题，请告知我们。