我应该使用PIG从HIVE将数据加载到HBase中还是有更好的方法?

时间:2015-09-15 09:01:04

标签: hadoop mapreduce hive hbase apache-pig

我必须从HIVE将数据加载到HBase表中。 我知道有很多方法可以做到这一点,例如:

  • 从HIVE生成CSV,然后使用批量加载将其转换为HFile以加载数据
  • 使用MapReduce生成HFile
  • 使用PIG脚本生成并加载HFile
  • 或者有直接转换器吗?

您可以通过推荐最佳方法来指导我吗?

我们没有使用凤凰这个用例。

1 个答案:

答案 0 :(得分:1)

您可以使用HBASE integration

CREATE TABLE hbase_table_1(key int, value string) 
STORED BY 'org.apache.hadoop.hive.hbase.HBaseStorageHandler'
WITH SERDEPROPERTIES ("hbase.columns.mapping" = ":key,cf1:val")
TBLPROPERTIES ("hbase.table.name" = "xyz");

然后将数据加载到Hive表中,也会加载HBase,因为它是同一个表。