标签: information-theory
假设我在系统中有n个独立类型,每种类型的存在概率为t_i i = 1,..,n(所以t_i's之和= 1)。还假设我可以为每种类型计算香农熵,将此值称为S_i。
1)然后计算加权和是否有意义,例如H = -sum_ {i = 1} ^ {n} t_i * S_i?
2)如何比较两个具有不同类型数量的系统的H值? (例如,系统1具有n = 2种类型,而系统2具有n = 4种类型)。