BigQuery max分区在2000而不是2500时达到顶峰

时间:2018-03-28 11:30:41

标签: google-bigquery

根据BigQuery docs,分区表可以有2500个分区:

  

每个分区表的最大分区数 - 2,500

然而:

$ bq query --destination_table grey-sort-challenge:partitioning_magic.nyc_taxi_trips_partitioned --time_partitioning_field pickup_datetime --use_legacy_sql=false "select * from \`grey-sort-challenge.partitioning_magic.nyc_taxi_trips\`"
  

查询字符串出错:处理作业时遇到错误'灰色排序挑战:bqjob_r37b076ef0d3c4338_000001626c539e6a_1':查询生成的分区太多,允许2000,查询产生至少2372个分区

是2000还是2500?

1 个答案:

答案 0 :(得分:6)

表中支持的最大分区数为4000 2000是我们允许单个操作(在本例中为查询作业)生成的分区数。

配额&限制 - 分区表

  • 每个分区表的最大分区数 - 4,000

  • 单个作业修改的最大分区数 - 2,000

    每个作业操作(查询或加载)最多可影响2,000个分区。任何影响超过2,000个分区的查询或加载作业都会被Google BigQuery拒绝。

  • 每张桌子每天的最大分区修改数 - 5,000 对于分区表,每天总共限制5,000次分区修改。可以使用附加或覆盖分区中的数据的操作来修改分区。修改分区的操作包括:加载作业,将结果写入分区的查询,或修改分区中数据的DML语句(INSERT,DELETE,UPDATE或MERGE)。

    单个作业可能会影响多个分区。例如,DML语句可以更新多个分区中的数据(对于摄取时间和分区表)。查询作业和加载作业也可以写入多个分区,但仅限于分区表。在确定作业消耗的配额量时,Google BigQuery会使用受作业影响的分区数。流式插入不会影响此配额。

  • 分区操作的最大速率 - 每10秒进行50次分区操作