SSTables或Hfiles是否合并超过1TB?

时间:2011-01-23 00:59:09

标签: cassandra hbase bigtable

在主要的压缩合并中,所有来自区域服务器(Hbase)的sstables和所有SSTables形成平板电脑服务器(Cassandra)。

如果时间到来的话,很多SSTables(总空间超过1TB)合并为一个? Maby有一些SSTable或HFile的范围界限将它分成几个部分 - 为了确保合并操作不“重写所有服务器”?

我的问题与此链接http://wiki.apache.org/cassandra/MemtableSSTable

的“压缩”部分有关

1 个答案:

答案 0 :(得分:1)

从我发现的实际上,通过主要压缩生产的SSTable在Cassandra中没有分裂。其他LSM树数据库在这种情况下依赖于受干扰的文件系统,它将SSTable(或HFile中的HFile,CellSotre)分成几个文件(例如64MB),但主要的压缩要么必须将所有这个文件压缩成新的SSTable(我认为是低效)。

如上所述,JIRA中有门票可以改善和重新设计Cassandra的压实:

https://issues.apache.org/jira/browse/CASSANDRA-1608

您可能还想阅读我的第二个simiral问题:

How much data per node in Cassandra cluster?