从mysql到Hbase的连续数据迁移

Question

我已经安装了hadoop和hbase用于实时分析目的。我面临的问题是将数据从mysql迁移到Hbase。

sqoop工具对于进行批量数据迁移非常有用，有没有办法可以将来自mysql的数据转移到HBase上（当插入/更新/删除时会发生这种情况）。这样就可以实现实时分析。不是近乎实时的。

请帮我解决这个问题。

Answer 1

要添加有关在项目中使用Hive的位置的更多信息，可以使用多种设置来集成Hive和HBase以协同工作。例如，如果您使用AWS，则可以在同一个hadoop集群上安装HBase / Hive，以便一起在Hive表和Hbase表上运行连接查询。或者，您可以将HBase和Hive分成两个不同的群集，并从Hive查询中引用HBase数据。如果你使用Cloudera发行版，你也可以做同样的事情。

参考：

• http://aws.typepad.com/aws/2012/06/apache-hbase-on-emr.html
• http://www.cloudera.com/blog/2010/06/integrating-hive-and-hbase

Answer 2

我认为您面临着在不同DBMS之间设置复制的任务。这是本机复制机制无用的情况。 最简单的解决方案是在要复制的表上创建一组触发器 - 并将要复制的数据写入一些附加表。然后，您可以设置监视此表并将更改应用于HBase。
更强大但更复杂的解决方案是分析用于其本机复制机制的MySQL日志，并将更改应用于HBase。
同时我不清楚HBe HBase会给你实时分析。我在这里写了关于这个问题的abit： Group by In HBase