最大化存储信息(熵?)

时间:2011-06-27 17:56:48

标签: information-theory

所以我不确定这个问题是属于这里还是数学溢出。无论如何,我的问题是关于信息理论。

假设我有一个16位字。这个数字有65,536个1和0的独特配置。这些配置中的每一个都表示不重要,因为取决于您的符号(2的补码与带符号的幅度等),相同的配置可能意味着不同的东西。

我想知道的是,有哪些技术可以存储比16位字更多的信息吗?

我最初的想法就像奇数/偶数奇偶校验或者其他东西,但后来我意识到已经由配置确定了...即没有编码的额外信息。我开始怀疑是否存在这样的事情。

编辑例如,假设一些神奇的计算机(思考量子或其他东西)可以理解0,1,a。那么显然我们有3 ^ 16个配置,现在可以存储多于数字[0 - 65,536]。为了在比特流中编码额外的信息,您是否还有其他16位字的属性?

EDIT2 我真的很想把它说成文字。现在,当我在计算机中查看一个16位字时,该属性向我传达了个人1和0的相对顺序。是否有另一种属性或方式来查看16位字,这将允许超过2 ^ 16个独特的“配置”? (注意它不再是配置,而是2 ^ 16 xxxx,其中xxxx是描述该属性实例的名词)。我唯一可以想到的是,如果我们查看1到0转换的数量或者某些内容,而不是每个位实际上是1还是0?现在转换不会产生超过2 ^ 16个组合,因为它最终完全取决于1和0的配置。我正在寻找能够从1和0的 AND 配置得到的属性,从而导致 MORE 而不是2 ^ 16。有没有人知道如果它确实存在会被称为什么?


EDIT3 好的我明白了。我的问题归结为:我们如何证明一个单词中1和0的配置完全定义了它? I.E.我们如何证明除了位图之外你不需要其他信息来显示两个16位字之间的相等性?


最终编辑

我有一个例子......如果不是看1和0的存在,我们看看位之间的转换,我们可以存储2 ^ 16个字母字符。如果左边的位是相同的,则将其视为1,如果它转换,则将其视为0.使用16位字作为循环链接列表类型结构,其中每个链接代表0/1我们基本上为16位从比特之间的过渡中说出来。这是我正在寻找的一个确切的例子,但结果是2 ^ 16,没有更好的。我确信你不能做得更好并且标记正确答案=(

2 个答案:

答案 0 :(得分:2)

16 0/1的特定配置中的信息量由该配置的概率确定(这称为自身信息)。如果配置不太可能是1 /(2 ^ 16),则这可能大于16位,但这意味着其他一些配置比1 /(2 ^ 16)更可能,因此包含的信息少于16位。

要考虑所有可能的配置,您必须使用各个配置的自我信息(称为熵)的预期值。当所有配置的概率相等(即1 /(2 ^ 16))时,该值将达到其最大值,然后它将恰好为16位。

所以答案是否定的,你不能在16 0/1中存储超过16位的信息。

编辑重要的是要意识到该位不代表0或1,但它是一个信息单位,即-log_2 P(w)其中P(w)是概率特定配置。

答案 1 :(得分:0)

半导体器件的一位数不能存储2种以上的状态。你自己回答了。如果每个数字都有许多可能的值,那么将更多信息拟合成16位数的唯一方法就是。