Hive INSERT INTO HBase - 可能的密钥生成?

时间:2015-06-24 15:34:52

标签: hadoop hive key hbase generator

我一直试图通过Hive将.csv文件导入HBase,以避免在java中编写批量加载程序。我设法将整个.csv(行的数量)加载到Hive中,因为我在Hbase中遇到了一些问题,所以在导入其余部分之前,我只尝试导入前10行。

问题是,.csv文件没有为每行指定的唯一值作为HBase所需的HBase表键。这导致INSERT OVERWRITE仅插入10的最后一行,因为我最初定义为key的列在所有10行中包含相同的值(但在整个文件中并非如此)

有没有办法让Hive / Hbase生成一个带有递增整数/浮点数/任何其他类型的键列?

1 个答案:

答案 0 :(得分:0)

我看到了几个解决方案:

  • hive hbase集成支持复合主键
  • CONCAT_WS(列)
  • reflect(“java.util.UUID”,“randomUUID”)
  • sha1(concat_ws(columns))#可能导致冲突

请参阅https://cwiki.apache.org/confluence/display/Hive/HBaseIntegration#HBaseIntegration-SimpleCompositeRowKeys