使用大查询下载数据

时间:2018-07-03 18:31:05

标签: python google-cloud-platform google-bigquery google-cloud-storage

我有一个很大的表(约100亿行),可以访问大查询。我尝试了Select * from table。它返回所有值,我想将此数据下载到本地计算机。我无法访问存储桶。我尝试使用GUI,但仅限16000行。我尝试运行查询bq extract table,但它需要URI的存储桶。

有人可以指出正确的方向下载此数据吗?

1 个答案:

答案 0 :(得分:2)

从BigQuery导出数据的正确方法是在bq extract table作业中将其作为文件导出到Google Cloud Storage(GCS)。

存储桶中的URI意味着您需要在GCS中创建存储桶,以便它可以托管输出文件-您可以稍后下载。

应在https://cloud.google.com/bigquery/docs/exporting-data

上进行全部说明