高斯混合模型中的参数个数

Question

我有K个组件的D维数据。 如果我使用具有完全协方差矩阵的模型，有多少参数？ 如果我使用正交协方差矩阵，有多少？

Answer 1

xyLe_在CrossValidated

回答

https://stats.stackexchange.com/a/229321/127305

简单地算一算。

对于每个高斯你，你有：
1.对称的完整 DxD 协方差矩阵，给出(D*D - D)/2 + D个参数（(D*D - D)/2是非对角元素的数量，D是对角元素的数量）<登记/> 2.给出D参数的 D 维平均向量 3.混合重量给出另一个参数

这导致每个高斯的Df = (D*D - D)/2 + 2D + 1 鉴于您有 K 组件，您有K*Df个参数。

在对角线情况下，由于非对角元素的消除，协方差矩阵参数减少到D。
因此产生Df = 2D + 1。