在BigQuery中检索约100MB查询结果大小的最有效方法

时间:2019-05-23 03:12:52

标签: google-cloud-platform google-bigquery

使用jobs.query的限制为10MB byteSize,因此我必须分页/请求10次才能在BigQuery中检索100MB数据。

我正在寻找如何运行查询并在尽可能短的时间内下载有关结果(〜100MB)的信息。建议这样做的方法是什么?

https://cloud.google.com/bigquery/docs/reference/rest/v2/jobs/query

此外,还有一种方法可以以压缩格式检索查询结果(如果这样做可以加快速度?)

1 个答案:

答案 0 :(得分:2)

要么:

  1. 运行导出作业。指定gzip压缩。从GCS加载文件。

  2. 使用新的BigQuery Storage API

我创建了一个功能请求,您可以对其进行投票以获取可通过Storage API下载的CLI工具: