Google Bigquery使用本地文件大小限制加载数据

Question

使用带有API的本地文件对Google Bigquery加载数据有任何限制吗？

Google Bigquery提及有关Web UI的文档，本地文件大小超过＆lt; = 10 MB和16,000行。同样的限制是否适用于API？

Answer 1

没有BigQuery API可以加载本地文件。通过bq命令或Web UI加载本地文件 - 我相信当你这样做时发生了什么 - 它只是代表你上传文件到GCS，之后只是从GCS做正常的API加载工作 - 你可以在UI中清楚地看到它。但是因为谷歌希望从WebUI / bq命令获得合理的用户体验 - 对于上传“本地”文件，还有更严格的限制。

我建议去GCS路径加载大文件 （https://cloud.google.com/bigquery/docs/loading-data-cloud-storage） 重要的是 - 它是免费的（与您将为流数据付费的流式传输相比）

{{1}}

Answer 2

本地文件上传没有特殊限制，10MB和16000行仅适用于UI。但我不建议上传大量的本地文件。