将数据从mysql转换为hbase

时间:2013-09-12 09:47:41

标签: java mysql hbase

我想将我的数据表从MySql数据库转换为HBase。 我会用java代码来做。

所以我从mySql中选择了表,但是我找不到如何在hbase中的表中逐行放置它们。

有没有办法呢? 我不会通过导入Tsv文件或批量文件来做到这一点。 请帮帮我。

1 个答案:

答案 0 :(得分:1)

为什么不使用 Sqoop ?它方便有效,因为它基于MapReduce,因此以分布式方式执行数据传输。

如果您不想使用Sqoop,您可以通过MapReduce直接实现(我假设您的数据非常大,因为您正在考虑HBase。所以MapReduce绝对是比普通Java程序更好的选择)。为此,您可以使用 DBInputFormat 。使用DBInputFormat读取数据后,可以使用 TableOutputFormat 将其放入HBase表中。

是的,你也可以通过普通的Java程序来做到这一点。但那可能是一种矫枉过正,恕我直言。

HTH