Bigquery,将群集表的群集保存到云存储

时间:2019-03-29 22:00:20

标签: google-cloud-platform google-bigquery google-cloud-storage google-cloud-python

我有一个由几列组成的clustered大查询表,我们称它们为client_idattribute_id

我想要的是将一个exports that table data的作业或命令提交到云存储,但是保存每个 cluster (所以client_id和{{1的每个组合}})到自己的对象。因此,最终的uri可能是这样的:

attribute_id

我知道我可以通过迭代gs://my_bucket/{client_id}/{attribute_id}/object.avroclient_id的所有可能组合并使用client library将相关数据查询到bigquery临时表中,然后导出来完成此任务将该数据正确命名为对象,我可以asynchronously这样做。

但是.... 我想所有集群数据已经以某种格式存储,就像我正在描述的格式一样,我希望避免不必要的成本和编写代码的麻烦自己编写脚本。

是否有一种方法可以在不要求添加新功能的情况下完成此任务?

谢谢!

0 个答案:

没有答案