我想要一个随机数列表的最佳压缩算法。
列表示例:
224.19
225.57
226.09
222.74
222.20
222.11
223.14
540.56
538.96
540.14
540.44
336.45
338.47
340.78
156.73
160.02
158.56
156.23
55.08
56.33
54.88
53.45
我可以跳过小数部分。我有大量的数字列表,就像上面给出的例子一样,这就是为什么需要压缩它。
你能推荐什么吗?
答案 0 :(得分:5)
不要使用浮点数,如果需要,可以使用带有某种控制字符的整数来表示小数点,但是如果你可以跳过它,那就更好了。
看看Variable byte encodings。它的优点是你不需要为小整数分配64位内存。
如果您的数字之间存在某种依赖关系,您可以查看Delta encoding - 它会存储两个数字之间的差异,而不是数字本身。
可变字节编码和增量编码被用作谷歌和任何其他处理搜索引擎的公司压缩反向列表索引的核心方法。
答案 1 :(得分:3)
如评论中所述,您的数字远非随意。
我首先删除小数点,因为看起来你的所有数字都可以用小数点后的两位数来描述。因此,在压缩时简单地将所有数字乘以100,并在解压缩时除以100。
其次,我会通过从每个数字中减去最后一个数字来对数字进行增量编码。第一个数字没有变化。重建是显而易见的。那么你最终得到:
22419, 138, 52, -335, -54, -9, 103, 31742, -160, 118, 30, -20399,
202, 231, -18405, 329, -146, -233, -10115, 125, -145, -143
代码。现在我们到了某个地方。我们通常有小的三角洲,偶尔会有大跳跃。然后使用可变长度的整数来编码它们。然后,增量的直方图将有助于很好地构造该代码。一个简单的例子是每字节7位,高位是一个表示整数结束的位。根据概率分布,比特级更复杂的方案可能更优化。