使用Pyhs2在Hive中获取数据的慢查询

时间:2015-09-25 07:20:32

标签: hive hql thrift

我尝试使用Pyhs2与Hive通信,获取数据并将它们放入列表中(临时存储在RAM中)。

但是使用非常简单的HQL(例如从table_name'中选择fields1,fields2 ...)来查询表需要花费很长时间,其中数据规模约为700万行且少于20个字段。整个过程花费近90分钟。

我的服务器:CentOS 6.5,8个CPU单元,32个处理器和32GB RAM Hadoop云:超过200台机器

有人可以帮忙解决这个问题吗?非常感谢

0 个答案:

没有答案