如何将数据从Hive表复制到已加载某些数据的HBase表

时间:2014-02-14 06:50:43

标签: hive hbase sqoop

我们有一个Hive表,它在日期(yyyy-MM-dd)上进行了分区,并且该表每天都会加载最新日期分区的新数据。此表还有最近2年的数据(分区)。

现在我们将系统迁移到HBase,我们想要从Hive表复制数据,按分区分区到HBase。还有另一个进程将数据加载到HBase表中,每天都有新数据(如hive中的date parition)。我们将行键设计为桶(pkid%16),模式(md5的几个字节),日期(字符串到字节数组),pkid(长到字节数组)值的组合。

我们希望将数据从Hive复制到HBase,有没有更好的方法来实现这一点,解决方案不应该对我们每天带来的数据产生任何影响(从oracle db到HBase的sqooping)。

0 个答案:

没有答案