使用jobs.query
的限制为10MB
byteSize,因此我必须分页/请求10次才能在BigQuery中检索100MB
数据。
我正在寻找如何运行查询并在尽可能短的时间内下载有关结果(〜100MB)的信息。建议这样做的方法是什么?
https://cloud.google.com/bigquery/docs/reference/rest/v2/jobs/query
此外,还有一种方法可以以压缩格式检索查询结果(如果这样做可以加快速度?)
答案 0 :(得分:2)
要么:
运行导出作业。指定gzip压缩。从GCS加载文件。
使用新的BigQuery Storage API。
我创建了一个功能请求,您可以对其进行投票以获取可通过Storage API下载的CLI工具: