存储多集/无序列表的节省空间的方法

Question

我需要在文件中存储大量的整数。整数的顺序无关紧要，因此总信息内容应低于有序列表的内容。是否存在一种更节省空间的方式来存储数字而不是任意排序的数组？

编辑：我假设整数是完全随机的。我真的在寻找一种通用方法来挤出通过修复排列而引入的冗余信息。

Answer 1

要压缩，您实际上需要更高的信息内容。你通常不能压缩随机性。幸运的是，您的问题规范允许您重新排序数据。因此，您可以对数据进行排序，从而增加其信息内容。然后，您只需存储最小的序列和第一个差异序列，而不是存储整数列表。第一个差异将小于数字本身，因此应该适合更少的位。

随机生成的序列

sorted seq     (173 218 257 490 618 638 715 815 856 929 932 996)
number of bits (  6   6   6   7   7   7   7   7   7   7   7   7)

可以存储为

first diff     (173 45 39 233 128 20 77 100 41 73 3 64)
number of bits (  6  4  4   6   5  3  5   5  4  5 2  5)

例如45是第一和第二元素173和218之间的差异。这些数字需要54位而不是81位。如果数字在绘制它们的范围内相当密集，您可能会看到第一个差异的最大位数低于允许您使用较小固定位长度的数据。如果您不使用固定大小，您还必须存储分隔符或使用其他一些自适应方案，以便您可以确定一个号码离开和下一个号码开始的位置。如果您的数据有大量重复项，如果您的数字是从相对较小的范围内随机抽取的，那么您也可能会在第一个差异中查看run length encoding个零。

Answer 2

总的来说，我会说不。如果你的数字有某种模式或以某种单一的方式分发，那么你应该提一下。