如何从不同的gcp组织将一个bigquery数据集复制或传输到另一个bigquery

Question

我自己的bigquery帐户（组织A）中有一些数据集，需要转移到组织B中的另一个bigquery帐户中。该怎么做？

我知道数据传输服务和RESTapi，但这似乎是跨组织内项目和区域级别的数据传输。

谢谢！

Answer 1

您可以使用BigQuery Copy Datasets功能（目前为beta功能）跨项目/组织以及跨区域（并非支持所有区域）复制数据集。只要您未设置VPC服务控件，跨组织复制就可以使用。您可以在BQ Web用户界面上使用 COPY DATASET （复制数据集）或 TRANSFERS （转移），或使用CLI。使用转移功能可以按定期计划运行副本。

用法：bq mk --transfer_config --project_id=[PROJECT_ID] --data_source=[DATA_SOURCE] --target_dataset=[DATASET] --display_name=[NAME] --params='[PARAMETERS]'

使用—params来指定源数据集和其他选项。