最近我正在研究一种特征选择方法的推理。我努力证明一个假设（后面会描述）但是失败了，有人告诉我没有证据证明假设不成立。
所以我希望我能从公众那里得到一些关于如何证明假设的帮助。
互信息I（A; B）可以描述为A和B之间的共享信息量。 然后条件互信息I（A; B | C）可以解释为：提供C的A和B的未知共享信息量。 根据上述条件互信息的解释，我们可以得出以下假设，因为D可能提供关于I（A; B | C）的额外信息。
I(A;B|C,D)<=I(A;B|C)
我将不胜感激任何帮助。
答案 0 :(得分：0)
如果你谈论熵而不是信息，那么你的假设是正确的。 但在你的情况下，你什么都不能说。
您将在本文中找到问题的答案（带有适当的证据）： http://www.ece.tufts.edu/ee/194NIT/lect01.pdf
第2页给出了熵的单调性（公式9，没有任何证据），第7页给出了“没有单调性”和“＃34;互信息的属性（有适当的证据）。
如果您需要进一步的见解和所需的所有证据，还有另一篇论文： https://web.cse.msu.edu/~cse842/Papers/CoverThomas-Ch2.pdf 见第27和33页。
您的解释是正确的：I(A;B|C)是A和B之间提供C的未知共享信息量。在某些情况下，知道C将提供有关A和B的可能状态的信息。 I(A;B)，因此减少C。对于这种情况，您可以绘制A和B重叠的维恩图，以及A和B的交集中包含C的位置。
但在其他一些情况下，知道A＆＃34;会创建＆＃34; B和A之间的关系。例如，如果B和C = A + B是独立的公平二元随机变量，C。然后，未知A表示B和C之间没有共享信息，但知道A可以考虑B和C的不同可能组合{1}}。对于这种情况，我认为没有任何可能绘制维恩图，因为当变量vagrant ssh出现时，维恩图会被改变。
我希望我足够清楚，如果它可以帮助人们试图了解有条件的互信息。