在BigQuery上以AVRO格式在BigQuery中创建外部表时出现大小问题

Question

我正在尝试在BigQuery中创建一个外部表，但这样做时出现以下异常：

Error while reading table: nginx_ext_table, error message: Total Avro data size exceeds max allowed size. Total size is at least: 13195947263283. Max allowed size is: 13194139533312.

BigQuery中的表/数据集大小是否有限制？

我们将不胜感激：）

Answer 1

BigQuery具有所有操作类型的配额，导入作业/外部数据源具有15TB的限制。

The limits for external data sources are the same as the limits for load jobs, as described in the Load jobs section on the quotas and limits page

更多详细信息，请参见here

Maximum size per load job — 15 TB across all input files for CSV, JSON, Avro, Parquet, and ORC

Answer 2

您在所有CSV，JSON，Avro，Parquet和ORC输入文件中都达到了“ Maximum size per load job”的上限，即15 TB。因此，请尝试减小文件大小，以免达到此限制。