如何将我的Hbase表(这是巨大的)分成相等的部分,以便我可以将它存储到本地文件系统中?

时间:2015-02-26 23:10:36

标签: hadoop export hbase bigdata

我有一个大小为53 GB的Hbase表,我想存储到我的本地文件系统中。但是我只有两个大小为30GB的驱动器,我无法将文件完全存储到一个驱动器中。有谁能告诉我如何将我的Hbase表拆分并存储到这两个驱动器中。任何建议或意见都深表感谢。有一种紧迫感:(

注意:如果有人可以建议我是否可以根据时间戳拆分表格,那将非常感激。希望很快收到你的来信。

谢谢, Gautham

2 个答案:

答案 0 :(得分:1)

我建议运行mapreduce作业,使用全表扫描和setTimerange,如果要按时间戳拆分它,并将输出存储为,例如Avro文件。然后,您就可以将这些文件放在不同的分区上。

This也可以提供帮助。

祝你好运。

答案 1 :(得分:0)

hbase的53 gb数据非常小。如果您预先分配了表格,您的数据也将分成文件系统中的单独文件。我假设你只有一个节点,只有一个区域服务器。

此外,如果您有两个带有一个30 GB驱动器和两个区域服务器的节点,并且如果您将您的桌子预分成两个,那么如果您的分割点合适,您的数据会自动分成两个。