通过数据聚类在神经网络中进行卷积滤波器设计

Question

我的理解是卷积神经网络中的滤波器将提取原始数据（或前一层）中的特征，因此通过反向传播的监督学习来设计它们是完全有意义的。但我已经看到一些论文，其中通过无监督的输入数据样本聚类找到过滤器。对我来说，集群中心如何被视为特征提取的良好过滤器看起来很奇怪。有没有人对此有一个很好的解释？

Answer 1

某些流行的聚类算法（如k-means）是矢量量化方法。

他们尝试找到一个良好的最小二乘量化数据，这样每个数据点都可以用最小二乘差异的类似向量表示。

因此，从最小二乘近似的角度来看，聚类中心是很好的近似值（我们无法找到最优中心，但我们很有可能找到合理的好中心）。最小二乘是否合适取决于数据，例如所有属性应该是同一类型。对于典型的图像处理任务，其中每个像素以相同的方式表示，这将是稍后监督优化的良好起点。但我相信 soft 分解通常会更好，不要假设每个补丁只是一种。