在信息理论中,多变量互信息(MMI)可以是协同(负)或冗余(正)。为了模拟这两种情况,假设三个变量X,Y和Z,它们都取0或1(二进制变量)。我们重复抽样12次。
案例1:
X = [ 0 0 0 0 0 0 1 1 1 1 1 1 ]
Y = [ 0 0 0 0 1 1 0 0 1 1 1 1 ]
Z = [ 0 0 1 1 1 1 0 0 0 0 1 1 ]
在这种情况下,当Y和Z都是0或1时,我们假设XYZ taht之间的机制,X分别取0或1。当Y = 0,Z = 1时,X取0,Y = 1,Z = 0,则X取1。
mmi(X,Y,Z)= -0.1699 在这种情况下,表示三个变量之间的协同效应。
案例2:
X = [ 0 0 0 0 0 0 1 1 1 1 1 1 ]
Y = [ 0 0 0 0 0 1 0 1 1 1 1 1 ]
Z = [ 0 1 1 1 1 1 0 0 0 0 0 1 ]
这种情况下的机制与上述相同。不同的是,有更多的XY样本取不同的值,而两个XY的样本都是0或1。
mmi(X,Y,Z)= 0.0333 ,表示冗余。
到目前为止,我可以说在这两种情况下,协同和冗余显示三个变量之间的相似机制(或关系)吗?但是,我们如何理解冗余,特别是现实数据中的协同作用?