以此比例因子查询耗尽的资源

Question

我在Amazon Athena上运行SQL查询。我偶尔得到以下错误：

以此比例因子查询耗尽的资源

此查询针对＆＃34; test1＆＃34;数据库，除非查询限定。请在我们的论坛上发布错误消息或通过查询ID：*************

联系客户支持

Answer 1

我们也遇到了这个。我们注意到这可能是亚马逊的内部问题。每当我们特别为非常快速的查询遇到此错误时，我们只是尝试删除该表并再次创建它。我知道它有点愚蠢的答案，我希望我能提供更多细节。我们的猜测是，我们被分配在资源较少的实例上，再次创建表将为您提供分配给更好的表的机会。

Answer 2

没有看到查询，很难确定问题是什么，但是很可能是由于Athena的内部问题，该问题与大型中间结果集的排序有关。

Athena使用的Presto版本不支持对太大而无法容纳在内存中的数据集进行排序。聚合过去也一样，但是已经由Athena团队修复。

当您有非常宽的表（即许多列或包含大量数据的列）时，最经常发生此问题。每个单独的行都可以代表很大的内存块，如果节点在尝试对其块进行排序时用完了内存，则查询将中止，并显示“此比例因子下的查询耗尽资源”错误。

如果这符合您的情况，那么不幸的是，唯一的方法是限制列数或取消排序。有时，您可以重新安排查询以在其他阶段进行排序，以降低排序阶段的内存压力。

Answer 3

查看这些提示，然后尝试优化查询。 https://aws.amazon.com/blogs/big-data/top-10-performance-tuning-tips-for-amazon-athena/

此错误表示聚合结果超出了分配的资源。 （我相信这是记忆）。