当从多个分片表中查询更多4亿行时,我注意到BigQuery性能一直很慢(响应时间在30秒到1分钟之间)。
我在一天中的不同时间(下午,傍晚和早上)运行了3次查询,通知响应时间一直很慢。该查询使用group-by字符串字段,该字段可能具有许多唯一值,然后按降序排列另一个整数值的总和,最后只返回前10位。
我已经在相同的模式和相同的查询上进行了性能计时测试,但是将所有数据存储在一到五个表中,并且注意到性能始终低于10秒。
查询数据集的预期响应时间是多少,在7到90个分片表中分片为4亿到2亿行?可以在更多表中分片数据导致查询性能降低吗?仅供参考,每个分片表至少有2400万到1.44亿行。它们不是很小的桌子。
答案 0 :(得分:0)
预期的查询性能在很大程度上取决于您的查询。您在查询中使用GROUP EACH BY吗?
除非表的数量非常大(数百或数千),否则数据分片的表数不应对查询性能产生太大影响。如果您看到性能差异,那么可能会出现问题。您是否介意共享您正在运行的查询或快速查询的项目和作业ID与慢速查询?