TB数据需要上传到Bigquery

Question

我们需要将TB数据上传到bigquery。我记得Felipe Hoffa的一段视频提到我们可以在一夜之间向谷歌发送硬盘，他们可以照顾它。 Google Bigquery团队可以提供更多信息吗？

Answer 1

这是Google云端存储的离线导入机制。你可以在这里读到它： https://developers.google.com/storage/docs/early-access

基本上，您可以使用此机制导入Google云端存储，然后运行BigQuery导入作业以从那里导入到BigQuery。

根据您导入的TB数据量，您最好直接上传到Google云端存储。 Gsutil和其他工具可以进行可恢复的上传。

如果您正在谈论100多个TB或更多，您可能希望与Google云支持人员详细讨论您的方案。他们可能能够帮助您优化BigQuery和云存储的使用。