Question

我有大量的SQL选择定期执行，例如：

  select * from table1 where ...

来自Python客户端的50万条记录。我在Google Compute doc中找不到从Python客户端通过SQL从Big Query导出大量数据的限制。

导出仅限于每个文件1GO ....

https://cloud.google.com/bigquery/docs/exporting-data#bigquery-export-table-gcs-python

在远程客户端上完成的非常大的SQL选择和Big Query的限制是否有任何参考/经验？

编辑问题2：

为什么在使用Order by子句时我们无法接收超过128Mo的数据？

Answer 1

是否有关于非常大的SQL选择的参考/经验？

来自Queries Quota Policy：

Maximum response size: 128 MB compressed - Sizes vary depending on  
compression ratios for the data; the actual response size may be  
significantly larger than 128 MB.

同时 - returning large query results时的尺寸无限制：

If you plan to run a query that might return larger results, you can
set allowLargeResults to true in your job configuration. Configuring
large results requires you to specify a destination table. You incur
storage charges for the destination table.

更新以发表评论：

此答案指向您要求的文档/参考文献它与您用于检索数据或查询结果的任何客户端相关。

在您的情况下 - 如果您的查询大小因上述限制而无法检索 - 我建议您将结果存储在destination table中，而不是使用{{3} } API用于检索存储在该目标表中的数据

大查询数据大小的限制

1 个答案: