Campaign Manager数据的BigQuery数据传输服务基准测试

Question

这里有一些很好的信息，说明从/到/从各种来源的数据的一般传输时间： https://cloud.google.com/solutions/transferring-big-data-sets-to-gcp

除了原始数据传输时间外，我正在尝试大致估算使用DoubleClick Campaign Manager的BigQuery数据传输服务每天将约12TB数据导入BigQuery所需的时间： https://cloud.google.com/bigquery/docs/doubleclick-campaign-transfer

此文件记录在任何地方吗？

Answer 1

在您共享的第一个链接中，有一个image，根据网络带宽显示了传输速度（估计）。

因此，假设您具有1Gbps的带宽，那么当您传输接近10TB的12TB数据时，数据将在大约30小时内在您的GCP项目中可用。这使得转移需要1天半。

如果您真的想每天传输12 TB，因为您需要每天提供该数据，并且不可能增加带宽，那么我建议您批处理数据并为每批创建不同的传输服务。例如：

• 将12TB分成12批1TB的批次-> 12个每个1TB的传输作业
• 每个批次需要3个小时才能完成，因此您每天将有8 / 12TB的可用空间。

如果您想要更细粒度的解决方案，则可以将其应用于较小的数据批次。