如何将关系数据库转换为一个Bigtable

Question

我想创建一个包含数据库中所有表的所有数据的大表，然后将该表导出到csv文件中，然后将此文件导入Hbase？ 我的问题是如何从所有数据库表创建bigtable的第一步？ 我会感谢任何帮助。 提前谢谢。

Answer 1

如果您希望将所有数据转储到HBase或HDFS，可以使用sqoop将所有表和数据传输到HBase。将所有数据转换为一个大表可能效率不高或不可行。只是注意到，无法对CVS文件执行CLOB / BLOB数据的导出。

Answer 2

看看sqoop，可能会有帮助。

我们使用它将数据从RDBMS存储到Hive表中。至于配置单元，它可以自动创建具有适当列名和类型的表。 对于自定义查询，它还需要split_by选项，该选项指定如何将数据拆分为块。

Answer 3

你为什么这样做？编写MapReduce作业并将输出注入HBase表。