HDFS元数据占用了太多空间

时间:2015-11-18 05:46:37

标签: hadoop hbase metadata hdfs

我正在尝试使用Hadoop将数据从SQL数据库迁移到HBase。但问题是我的数据库在SQL中是70 GB,当我将其转移到Hadoop时需要大约400 GB。为什么会这样?有没有办法减少使用的空间。

如果我有一个800 GB的SQL数据库,还需要多少磁盘空间。

1 个答案:

答案 0 :(得分:0)

经过大量的搜索后,我遇到了一些结果,我将数据存储为Hadoop的默认格式,即文本格式。因此,与其他存储相比,它将消耗大量用于存储数据的空间。 Manjunath也是正确的,因为我们减少了复制因子,它可能会减少存储空间,但也会导致一些问题。有关此主题的更多信息,请参阅下面提到的链接:

http://datametica.com/rcorc-file-format/