在AWS EMR上通过Hue进行的Presto查询性能

时间:2019-09-18 14:23:36

标签: amazon-emr presto hue

我当前正在尝试在AWS EMR集群(版本5.24.0)上设置通过Hue的Presto连接。

默认情况下,AWS使用jdbc界面设置连接。 使用此接口的问题是由于某种原因,在执行类型为

的查询时,它仅加载前1000条记录
SELECT * FROM table

这可能是由于当前的Hue限制所致,该限制将fetchsize硬编码为1000行,并且无法编辑。

但是,根据Hue的文档,建议尽可能使用sqlalchemy作为接口而不是jdbc。因此,我按照指南中的说明更改了presto解释器设置并安装了pyhive。

fetchsize问题消失了,但是甚至执行了

SELECT COUNT(1) FROM table

可能需要几分钟。此外,如果从Hue UI来看查询,则如果我仍在运行Presto UI,则查询似乎已完成。

更糟糕的是,如果我在Hue Presto编辑器中提交了新查询,则会提交新查询,但是前一个查询仍在运行。

有人遇到过类似的问题吗?更改某些Hue / Presto / Hive设置是否有任何改善?

0 个答案:

没有答案