如果在将数据流式传输到BigQuery时表已存在,则数据是附加到表还是覆盖它

时间:2015-03-09 15:53:54

标签: google-bigquery

streaming数据进入BigQuery表时,我想知道如果表已经存在,默认是将json数据附加到BigQuery表吗? tabledata().insertAll()的api文档非常简短,并未在加载作业中提及configuration.load.writeDisposition等参数。

1 个答案:

答案 0 :(得分:1)

这里没有多个选择,因此没有默认情况,也没有被覆盖的情况。别忘了BigQuery是WORM技术(仅限设计附加)。它找我,你不知道这件事,因为没有像UPDATE这样的选项。

您只需设置路径参数,项目三重奏,数据集,表格ID,
然后将现有模式设置为json和行,它将附加到表中。

为了帮助确保数据的一致性,每个插入的行都can supply insertId。 BigQuery会记住此ID至少一分钟。如果您尝试在该时间段内流式传输相同的行集并且设置了insertId属性,则BigQuery将使用insertId属性尽力去除您的数据。

如果出现错误,您可以使用简短的错误代码来总结错误。有关调试您收到的具体原因值的帮助,请参阅troubleshooting errors

还值得一读: