请问一个很好的信息理论介绍？

Question

我知道Wikipedia和MacKay的Information Theory, Inference, and Learning Algorithms（它是否适合作为教科书？）。寻求以香农的熵开始并通过条件熵和相互信息的教科书......任何想法？如果您在大学学习这门课程，那么使用哪本教科书？

感谢。

Answer 1

我在EPFL的CS学习期间使用了以下教科书。国际海事组织，它编写得很好，有很好的解释，并且涵盖了对该领域的介绍。

Elements of Information Theory

Elements of Information Theory http://ecx.images-amazon.com/images/I/51HVK59X77L.jpg

编辑：为了进一步阅读，这里有一些我的教授推荐的其他读物。我没看过他们（对我很羞耻），所以我不能说他们是不是好。

1. R上。 G. Gallager，Information Theory and Reliable Communication，Wiley，1968。
2. d。 MacKay，Information Theory, Inference & Learning Algorithms，剑桥大学出版社，2008。（你已经提到过）
3. 予。 Csiszar和J. Korner，Information Theory: Coding Theorems for Discrete Memoryless Systems，Akademiai Kiado，1997。
4. C. E. Shannon, The Mathematical Theory of Communication