在Bigquery中使用“计划查询”时如何避免重复数据

Question

因此，我编写了一个查询，然后单击Bigquery中的“保存视图”按钮将其保存到视图中。使用相同的查询，我可以通过单击“计划查询”将它们安排到新表中（我知道这是Beta版本）。几天后，我比较了数据（“视图”与“表”），结果表明表中的数据重复。

Answer 1

您可以在计划的查询上设置写首选项，以便它会覆盖目标表或根据您的要求追加到目标表。

如果您需要更多技巧，可以使用BigQuery Data Definition Language (DDL)，以便您的查询根据您的特定要求再次创建新表或分区等。

如果您看到重复的数据，但无法找出原因，则还可以安排第二个查询来浏览表和remove duplicate entries。