Question

假设M是一组对象m，每个对象都有属性X和Y.现在，如果X和Y只有给定m的一个值（即X，Y是随机变量P（X = x_i | M = m_i），P（Y = y_i | M = m_i）），可以计算X和Y的互信息。但是如果X一次可以有多个结果怎么办？即对于m_3 X = {x1，x2} - 通常X的结果是所有可能结果的子集。在这种情况下，是否可以衡量互信息或其他一些依赖程度？

是否可以将X分成二进制随机变量X_1，X_2等，其中X_1 = 1 iff X包含x1，X_1 = 0否则然后为所有组合i，j计算I（X_i，Y_j）并总结信息以获得I（X，Y）？

感谢。

示例：

m_1: X={a,b}, Y={x,y}; m_2: X={c}, Y={z,x}

Answer 1

如果我没错，你设定的前提是：

If M is a set of objects { m1, m2, ... },
and each mi has two attributes X, Y,
and X, Y can be a set of { x1, x2, ... } , { y1, y2, ... } respectively

然后你要定义

*(X, Y) based on each mi's X, Y

嗯，这在计算方面显着增加了问题的复杂性，但你仍然可以做相同类型的相关，除了不是将两个值X和Y相关联，你要关联两个子集X和Y.

Answer 2

根据集合的含义以及您希望使用互信息的内容，您可以将集合视为原子值。然后你的事件空间是V_X的powerset，你可以用通常的方式计算更大的事件空间上的互信息（想想位串）。

互信息的多变量概括，例如交互信息或完全相关，但我认为它们并不是你想要的。您可能最好不要查看其他非信息理论的多变量相关度量。

相互信息的计算

2 个答案: