加入Hive表映射到HBase

时间:2013-10-09 09:13:02

标签: hbase hive

我们在HBase中创建了表,并使用HBase Storage Handler将这些表映射到Hive。如果表有巨大的记录说100百万,如果我们需要根据某些列加入这两个表,如果那些列不是行键id列,那么性能如何,是否有任何方法可以提高性能in表连接映射到HBase的Hive表。

此致 GHK。

1 个答案:

答案 0 :(得分:1)

您使用哪种底层存储来进行Hive JOIN性能并不重要。因此,HBase rowkey不会帮助您使用Hive。

你可以使用的一个技巧是mapjoin,如果你加入一个很大的小桌子,这个技巧非常有效。

您可以在此链接https://www.facebook.com/notes/facebook-engineering/join-optimization-in-apache-hive/470667928919

上详细了解Hive JOIN效果