Google大查询 - 包含最终数据的日期分区表

时间:2016-07-18 21:13:33

标签: google-bigquery gcp

我们的BigQuery用例有点独特。我想开始使用Date-Partitioned Tables,但我们的数据非常有用。它不会在发生时插入,但最终会在提供给服务器时插入。有时,在插入任何数据之前,这可能是几天甚至几个月。因此,_PARTITION_LOAD_TIME属性对我们没用。

我的问题是,有一种方法可以指定一个像_PARTITION_LOAD_TIME参数一样的列,并且仍然具有Date-Partitioned表的优点吗?如果我可以手动模拟并相应地更新BigQuery,那么我可以开始使用Date-Partitioned表。

任何人都有一个很好的解决方案吗?

1 个答案:

答案 0 :(得分:2)

您不需要创建自己的专栏 _PARTITIONTIME伪列仍然适合你!
您需要做的唯一事情是通过引用不仅仅是表名来插入/加载相应的数据批处理,而不是引用分区装饰器的表 - 就像yourtable $ 20160718
这样,您可以将数据加载到它所属的分区