Google BigQuery:查询过大,第2部分

时间:2015-10-15 04:10:27

标签: sql google-bigquery union-all

GBQ团队能否更多地分享为什么"查询太大"错误可能会弹出?对于我遇到的问题还有更多的解决方法:特别是,我会详细介绍我在弹出时所做的工作以及一些永远不足以安抚查询太大神的决议。我正在做一个相当长的逗号加入,如

选择字段 来自A_1,A_2,...,A_15,其中每个都有这么多记录:

1 - 41854
2 - 32287
3 - 16876
4 - 1799
5 - 3112
6 - 6412
7 - 6424
8 - 7286
9 - 14832
10 - 17167
11 - 51149
12 - 3895
13 - 8139
14 - 38395
15 - 22858

A_4 - A_8以前是一个查询,需要拆分或原始结果表也会导致相同的错误。同样地,对于A_12 - A_15。 (我没有针对最小数量的A_i优化此分区,我只是根据来自应用程序的日期分区拆分原始文件。)

产生A_i的查询,i = 1,...,15,在字段和聚合方面被削减。即我只是绘制必要的字段,我正在尽可能多地聚合应用程序允许(考虑即使是周到,聪明的减少)。这仍然会出现错误。

下一步是汇总重要信息。这最终通过减少每个A_i大小而起作用,但代价是重要的数据视图。

我理解联合表可能是问题的根源(例如,请参阅Getting "Query too large" in BigQuery),如果这是table_range或table_date_range()在幕后进行的操作。我在日期上只有table_date_range(),这样table_date_range()的工作和table_query()s。这是否意味着逗号连接正在做类似的类似限制?

洞察?为什么这会精确地弹出? (错误中的语言是否有意义?查询的代码是否太长?)是否有修复工作?非常感谢!

0 个答案:

没有答案