我有一些高度可分区的数据，我想存储在BigQuery中，每个分区都有自己的表。我的问题是BQ是否会支持我需要的表格数量。
通过我的数据集，我每天都会创建大约2,000个新表。所有表格将有390天（13个月）到期，因此最终在此特定项目中将持续计数约2,000个表* 390天=约780,000个表。
我自己测试一下，但BQ每天只支持每个项目max of 10,000个加载作业。
有没有人有这种表计数的经验？ Google是否提供任何官方的表格限制？
答案 0 :(得分：6)
今天有一些项目有这么多不同的表格。目前对不同表格的数量没有严格限制。
当您考虑使用那么多表格的表示时，会想到一些相关的注意事项：
查询（包括引用的观点）目前只能reference 1000 tables。
使用table wildcard函数时，包含大量表格的数据集可能会出现问题。
你可能会过度训练。您可能只想使用更宽的架构和更少的表格，而不是使用大量单独的表。
如果您严重依赖时间间隔作为分片考虑因素，您可能还需要将table decorators视为限制数据扫描范围的方法。
您可能还希望随着时间的推移将数据折叠为更少，更大的表，因为它们会老化并且访问频率较低。例如，copy jobs可以将多个源表附加到单个目标表中。
答案 1 :(得分：2)
只要您正确使用BigQuery，BigQuery中就可以提出大多数限制 - 限制是为了防止滥用和滥用。
这是一个关键问题 - 每个表处理多少数据？拥有780,000个10行的表格并不是一个好主意。
您希望每个查询处理多少个表？每个查询的硬限制为1,000个表。
如果您有一个有趣的用例需要更高的限制，获得支持合同及其建议是提高默认限制的最佳方式。