如何在每次上传桶时更新Big Query后端数据

时间:2018-05-05 19:41:21

标签: google-cloud-platform google-bigquery

我已经从云存储桶中的数据中创建了Big Query。

在我的用例中,我定期向同一个桶发送数据,该桶是我的Big Query的后端(在创建Big查询表时,我使用了相同的桶名)。

  

是否可以将更新的数据导入Big Query,因为我每次都会在某个时间间隔内将新数据推送到同一个存储桶中。

请注意 - 我正在使用上面提到的专用存储桶进行原生Big查询。

非常感谢您的帮助。提前谢谢。

1 个答案:

答案 0 :(得分:3)

您可以在Google云端存储分区上创建外部(联合)表 有详细信息https://cloud.google.com/bigquery/external-data-cloud-storage 因此,在这种情况下,无论何时查询此表,您都将获得最新数据。

如果你只需要根据来自桶的数据将数据附加到表(让它称为目标表) - 我可以想象以下过程: 1.您在GCS存储桶上创建联合表 2.您设置了运行bq命令的简单cron作业,该命令只是从[federated_table]执行select *并将结果附加到目标表中(您可能有更复杂的查询,它将检查目标表中的数据重复只附加新数据。

替代选项: 您在桶上设置激活云功能https://cloud.google.com/functions/docs/calling/storage的触发器,在云功能中只需将新添加的数据加载到目标表