我在HBase表中有1亿条记录。我创建了hive外部表。
如何以最快的方式查询记录。
Hive --->从表中选择count(*)。
运行查询超过8小时。
请指导我
答案 0 :(得分:0)
我认为更好的方法是在内置 RowCounter 操作中使用Hbase,该操作在内部运行map reduce作业以计算行数。
语法:
hbase org.apache.hadoop.hbase.mapreduce.RowCounter mytable
答案 1 :(得分:0)
Hive直接支持COUNT()查询 -
for $doc in doc("auction.xml")/site/open_auctions//bidder/increase
return insert node <watch open_auction="open_auction5104"/> before $doc;
doc("auction.xml")
但是随着你的记录增加,它会变慢,因为hive使用MapReduce作业。如果您想快速查询,我建议您使用Apache Phoenix或ORM工具Kundera