最大方差展开

Question

我想知道是否有人知道一种直观的方式来解释最大方差展开算法如何工作以及这个和最大方差校正之间的差异，并且可以分享。我仍然试图总体上围绕着各种各样的学习和半定规划，并且非常感谢将这一切联系在一起的任何帮助。

谢谢！

Answer 1

最大方差展开（MVU）可视为主成分分析的非线性推广。因此，MVU是一种非线性降维方法。最大方差展开的目标是学习高维数据的忠实低维表示。

如果最重要的变异模式是非线性的并且MVU试图改进它，那么PCA的效果很差。最大方差展开的算法基于简单的直觉。想象一下，输入通过刚性杆连接到它们的k个最近邻居。 （k的值是算法的一个自由参数。）算法尝试将输入拉开，最大化其成对距离的总和，而不破坏（或拉伸）连接最近邻居的刚性杆。输出是从这种转变的最终状态获得的。

算法总结如下：

(1) Form a graph that connects each point to its k neighbors.
(2) Add additional edges by connecting points that are common neighbors of another point in the data set.
(3) Compute the Gram matrix (centered on the origin) that corresponds to the maximum data variance and also preserves the distances between all connected points.
(4) Find the lower dimensional embedding using kernel PCA.

我建议您仔细阅读document。