BigQuery：对列分区表的分区修改数超过配额

Question

尝试在使用自定义Timestamp列进行日期分区的BigQuery上运行大量导入CSV作业时出现此错误。

  

您的表超出了对列分区表的分区修改数量的配额

以下完整错误：

{Location: "partition_modifications_per_column_partitioned_table.long"; Message: "Quota exceeded: Your table exceeded quota for Number of partition modifications to a column partitioned table. For more information, see https://cloud.google.com/bigquery/troubleshooting-errors"; Reason: "quotaExceeded"}

我不清楚：Number of partition modifications的配额是多少？它是如何被超越的？

谢谢！

Answer 1

  

分区修改数量的配额是多少？

见Quotas for Partitioned tables
特别是：

单个作业修改的最大分区数 - 2,000

  

    

每个作业操作（查询或加载）最多可影响2,000个分区。任何影响超过2,000个分区的查询或加载作业都会被Google BigQuery拒绝。

  

每张桌子每天的最大分区修改次数 - 5,000

  

    

对于分区表，每天总共限制5,000次分区修改。可以使用附加或覆盖分区中的数据的操作来修改分区。修改分区的操作包括：加载作业，将结果写入分区的查询，或修改分区中数据的DML语句（INSERT，DELETE，UPDATE或MERGE）。

  

您可以在上面的链接中看到更多详细信息

Answer 2

如果您经常更改数据，我强烈建议您删除该表，然后使用新值再次上传。每次上传新表时，都会刷新限制。