最近几天,我们的流式传输遇到了
"Failed to insert XX rows. First error: {"errors":[{"reason":"timeout"}],"index":YY}"
在过去半个月内,从未更改的数据源和程序脚本连续流式传输,之前未发现此类故障。
项目编号:red-road-574
答案 0 :(得分:4)
我们刚刚在周末推出了一项更改,可以显着降低您遇到的超时次数。
在过去几周内,TableData.insertAll
API的客户负载大幅增加。虽然我们应该能够毫无问题地处理该负载,但它已经暴露了我们一直在努力解决的系统中的几个瓶颈。从我们的监测来看,截至昨天晚上看起来延迟应该恢复正常。如果您继续看到超时,请告诉我们。
答案 1 :(得分:4)
BigQuery团队成员在这里。
看起来我们的文档有点不正确,因为我们可以部分提交行。如果存在无效行(结构不匹配),我们将完全拒绝该请求,但是单个行可能无法缓冲。
在这种情况下,只有指示的行无法提交。如果您有插入ID,则只需重试失败的行,或者根据需要重试完整的请求(尽管每个重试的行都将计入您的表配额)。
这些行级错误的增加是由于我们处理批量插入的方式发生了变化。以前,整个请求都会遇到超时。
希望有所帮助。 肖恩