从多个分片表查询超过4亿行时,BigQuery的预期查询响应性能是多少?

时间:2013-05-24 18:58:13

标签: google-bigquery

当从多个分片表中查询更多4亿行时,我注意到BigQuery性能一直很慢(响应时间在30秒到1分钟之间)。

我在一天中的不同时间(下午,傍晚和早上)运行了3次查询,通知响应时间一直很慢。该查询使用group-by字符串字段,该字段可能具有许多唯一值,然后按降序排列另一个整数值的总和,最后只返回前10位。

我已经在相同的模式和相同的查询上进行了性能计时测试,但是将所有数据存储在一到五个表中,并且注意到性能始终低于10秒。

查询数据集的预期响应时间是多少,在7到90个分片表中分片为4亿到2亿行?可以在更多表中分片数据导致查询性能降低吗?仅供参考,每个分片表至少有2400万到1.44亿行。它们不是很小的桌子。

1 个答案:

答案 0 :(得分:0)

预期的查询性能在很大程度上取决于您的查询。您在查询中使用GROUP EACH BY吗?

除非表的数量非常大(数百或数千),否则数据分片的表数不应对查询性能产生太大影响。如果您看到性能差异,那么可能会出现问题。您是否介意共享您正在运行的查询或快速查询的项目和作业ID与慢速查询?