我在将数据从未分区表移动到分区表时遇到错误。
"查询执行期间超出资源:表mydataset.mytable $ 20101213在作业完成时将有2501个分区,超过限制2500 ..'}]"
- > bigquery是否限制可以在表上创建的最大分区数?或者这只是一天的配额?
此外,他们的BigQuery" Quotas and Limits"中没有提到这个限制。页面
答案 0 :(得分:4)
在文档中提到过。目前,每个表不能超过4000个分区。您需要跨多个表(每个约7年的数据)拆分数据/分区。
每个分区表最多可包含4000个分区。
https://cloud.google.com/bigquery/docs/partitioned-tables#partitioned_table_limits
答案 1 :(得分:0)
将数据拆分到多个表后,您可以编写视图以将两个表合并在一起。只要在where子句中使用分区字段查询视图,BigQuery只会处理相关的分区。
这将产生一个具有4,000多个分区的视图,业务用户可以查询该分区而不必担心他们需要使用哪个版本的表或自己合并这些表。