如何计算位字符串中包含的信息（或熵）？
香农的熵方程不是解决方案，它只计算1和0，因此对于字符串： 010101 ... 我得到最大的熵，即使您的字符串是高度有序的，也因此包含少量信息。
自动编码器很有帮助，但是您不能说出它们“窃取”了多少信息，换句话说，它们有多少适合。例如，如果我在输入长度为N-1的N位长字符串上训练它，它只会记住每个位，导致输出0信息。
我知道压缩算法所能做的最好的事情就是达到最大熵，并且所得到的信息是输出字符串的长度，但是我认为这不能一概而论好吧，加上这样的算法是什么？
与n = 1 ... N的n元组上计算的香农熵有关吗？
我最好的猜测是使用一个概率矩阵，即n位长的子字符串“ i”将跟随另一个（“ j”）。
有人可以帮忙吗？