K均值聚类和矢量量化之间的区别?

时间:2012-01-26 01:41:43

标签: machine-learning computer-vision hidden-markov-models

K-Means聚类和矢量量化之间有什么区别? 它们似乎非常相似。

我正在处理隐马尔可夫模型,我需要从特征向量中提取符号。

为了提取符号,我可以进行矢量量化还是Kmeans聚类?

2 个答案:

答案 0 :(得分:14)

我理解它的方式,K-means是一种矢量量化。

答案 1 :(得分:5)

K-means算法是着名的“Lloyd I”量化算法对经验分布的特殊化。 (参见劳埃德)

证明Lloyd I算法产生具有递减二次失真的量化器序列。然而,除了一维对数 - 凹分布的特殊情况外,它并不总是收敛于二次最优量化器。 (量化误差有局部最小值,特别是在处理经验分布时,即对于聚类问题。)

将(总是)收敛到最佳量化器的方法是所谓的CLVQ算法,其也推广到更一般的L ^ p量化的问题。它是一种随机梯度法。 (参见Pagès)

还有一些基于遗传算法的方法。 (参见Hamida等人),和/或用于更快收敛的一维案例的经典优化程序(Pagès,Printems)。