HIVE查询需要很长时间才能获取20 GB的记录

时间:2016-11-29 18:06:08

标签: hadoop hive hbase hiveql

嗨我在HBASE上有一个有200GB记录的hive表。 我正在运行简单的配置单元查询来获取20 GB的记录。 但这需要大约4个小时的时间。 我无法在HIVE表上创建分区,因为它集成在HBASE上。

请提出改善表现的想法

这是我的HIVE查询

INSERT OVERWRITE LOCAL DIRECTORY '/hadoop/user/m6034690/FSDI/FundamentalAnalytic/FundamentalAnalytic_2014.txt'
ROW FORMAT DELIMITED
FIELDS TERMINATED BY '\t'
STORED AS TEXTFILE
select * from hbase_table_FundamentalAnalytic  where FilePartition='ThirdPartyPrivate' and FilePartitionDate='2014'; 

1 个答案:

答案 0 :(得分:0)

如果可以,那么我认为Apache Phoenix会加快速度。

https://phoenix.apache.org/faq.html

使用非常简单直观,超级快。