我不学习计算机科学，但我有兴趣了解信息内容的概念。
我看到了这两个例句：
a) On July 5th, it was over 100°F
b) On July 5th, it was 98°F
它说句子b）具有更高的信息含量，因为对于句子a）只有小于/大于和大于句子的可能性b）是无限多种可能性。
我同意b）有更高的信息内容，但我不明白这个解释。
我会说b）信息含量更高，因为它可以准确地告诉你温度是多少。
但我想我的直觉理解是错误的。如果没有解释空间，我会说一条消息的信息内容很高。
a) Tomorrow, someone will visit me.
b) Tomorrow, my aunt will visit me.
我会自发地说，b）信息更丰富，因为它会告诉你究竟是谁来参观。这是正确的吗？
形成我的非科学理解，高信息内容会很好，因为它让你没有问题。但我想在信息理论中，高信息内容是不好的，因为它意味着消息需要大量的位用于编码，信息不被视为好东西，而是需要传输的东西。这是一个很好的方式吗？
答案 0 :(得分：0)
你的直觉是正确的：你需要平均询问的额外二元问题的数量，以确定细节本质上是信息内容。
但是，除非你有目标，否则信息理论中没有固有的好或坏。
如果你的目标是压缩信号，信息理论说可实现的限制是由信息内容给出的。因此，从这个意义上讲，低信息量内容信号更具可压缩性（如果您正在寻找的话，这可能会很好。）
对于通信渠道，您希望最大限度地利用渠道容量。如果您没有将频道用于其最大容量，则信息内容将不会尽可能高。
对于纠错，您希望拥有具有相同信息内容但位数更大的冗余。每个符号最小的信息内容意味着没有纠错，所以这很糟糕。