让monetdb的开发人员测试了其他任何压缩算法吗?

时间:2013-11-15 02:13:57

标签: compression monetdb

MonetDb的开发人员之前是否测试过其他任何压缩算法?

也许他们已经测试了其他压缩算法,但它确实对性能产生了负面影响。

那么为什么他们没有改进这个数据库的压缩性能呢?

我是来自中国的学生。 MonetDb非常有趣,我想尝试提高它的压缩性能。

所以,我应该确保任何身体之前已经这样做了。

如果你能回答我的问题,那将是我的感激之情。

那是因为我真的需要这个。

非常感谢你。

2 个答案:

答案 0 :(得分:2)

MonetDB仅使用字典压缩压缩String(Varchar和char)类型,并且仅当列中唯一字符串的数量很小时才会压缩。

集成任何其他类型的压缩(即使是简单的压缩,如前缀编码,运行长度编码,增量压缩......)需要完全重写系统,因为操作员必须具有压缩感知能力(几乎意味着创建一个新的运算符)。

如果没有完全重写,唯一可行的方法是让压缩/解压缩数据专用压缩操作符,而不是溢出到磁盘。但是,这与在Mavericks中实现的内存压缩算法非常接近

答案 1 :(得分:2)

MonetDB使用PFor压缩压缩列。有关详细信息,请参阅http://paperhub.s3.amazonaws.com/7558905a56f370848a04fa349dd8bb9d.pdf。这也回答了关于检查其他压缩方法的问题。

PFOR的选择是因为现代CPU的工作方式,但实际上任何不与分支机构合作但只使用(仅)算术的算法都可以。我过去曾用算术编码达到类似的速度。