标签: hive hql thrift
我尝试使用Pyhs2与Hive通信,获取数据并将它们放入列表中(临时存储在RAM中)。
但是使用非常简单的HQL(例如从table_name'中选择fields1,fields2 ...)来查询表需要花费很长时间,其中数据规模约为700万行且少于20个字段。整个过程花费近90分钟。
我的服务器:CentOS 6.5,8个CPU单元,32个处理器和32GB RAM Hadoop云:超过200台机器
有人可以帮忙解决这个问题吗?非常感谢