Question

表每天都会从源系统获取新数据，我希望一旦将新数据加载到表中，副本就会自动删除。

bigquery有可能吗？

我尝试使用下面的查询在bigquery中创建一个名为sites_view的视图

SELECT DISTINCT * FROM prd.sites

但重复项不会自动删除。

Answer 1

以下是BigQuery：

重复项不会自动删除-BigQuery中没有此类功能

您应该有一些步骤来使此操作尽可能频繁地发生或使用视图

Answer 2

Bigquery基于append-only类型的设计。因此，它接受所有数据。这是没有主键/唯一键约束的原因之一，因此您不能防止重复项输入到表中。

 So, you have to have a process like:
    1.) Create a new table without duplicates from your original table.
        (You can use DISTINCT/ROW_NUMBER() for doing this.)
    2.) Drop original table.
    3.) Rename new table with original table name.

让我知道此信息是否有帮助。

自动从表格中删除重复项

2 个答案: