如何使用Hive查看不同版本的Hbase数据?

时间:2016-02-07 10:02:48

标签: hive hbase hbasestorage

如何在Hive中查看不同版本的Hbase数据。 根据我对HbaseStorageHandler的理解,只有最新版本的Hbase数据将在Hive中提供。我的理解正确/更新了吗?

有没有办法使用Hive访问不同版本的Hbase数据?

提前致谢:)

(Hbase-Hive集成新手)

2 个答案:

答案 0 :(得分:1)

这取决于您使用的hive版本。 在hive 1.1之前,无法通过hbase集成[1]访问timestamps hive-hbase(相关:[2])。 所以答案是,你需要hive 1.1或更高。 希望它有所帮助。

[1] https://issues.apache.org/jira/browse/HIVE-2828

[2] https://issues.apache.org/jira/browse/HIVE-8267

答案 1 :(得分:0)

不是100%回答,而是方向。在正常生活中,HBase总是与特殊情况有关。

这里有一点点过时但非常简单的文章来理解方法: http://hortonworks.com/blog/hbase-via-hive-part-1/

所以实际上你可以实现你需要的任何InputFormatOutputFormat。 但这与MapReduce齿轮有关。

原则上Spark总是依赖于InputFormat,所以问题只是关于你的特殊情况。

这里描述了另一个好主意:http://www.slideshare.net/HBaseCon/ecosystem-session-3a 因此,快照可以帮助您获取您真正需要的表格状态,然后如果符合标准,您可以随意使用任何设备将Hive与HBase连接。

一般来说,基本的想法是调整将Hive连接到HBase数据的齿轮,以便他们将所需的版本过滤器应用于您。这并不依赖于版本,因为这个界面非常稳定。

希望这会对你有所帮助。