我有一个由几列组成的clustered大查询表,我们称它们为client_id
和attribute_id
。
我想要的是将一个exports that table data的作业或命令提交到云存储,但是保存每个 cluster (所以client_id
和{{1的每个组合}})到自己的对象。因此,最终的uri可能是这样的:
attribute_id
我知道我可以通过迭代gs://my_bucket/{client_id}/{attribute_id}/object.avro
和client_id
的所有可能组合并使用client library将相关数据查询到bigquery临时表中,然后导出来完成此任务将该数据正确命名为对象,我可以asynchronously这样做。
但是.... 我想所有集群数据已经以某种格式存储,就像我正在描述的格式一样,我希望避免不必要的成本和编写代码的麻烦自己编写脚本。
是否有一种方法可以在不要求添加新功能的情况下完成此任务?
谢谢!