如何在Google Big Query上更新大表

Question

在Google BigQuery上“更新”表格的最佳做法是什么？

我得到了需要每小时加载的大量批处理文件。

批处理文件中的某些记录包含需要替换大目标表中旧记录的记录。

Answer 1

如果每个记录都有一个id，则可以合并新表和旧表，如下所示：

SELECT * FROM 
  (SELECT * FROM [oldtable] WHERE id NOT IN (SELECT id FROM [newtable])),
  (SELECT * FROM [newtable])