What is difference between PCA , TruncatedSVD and ICA in details?

Question

Can anybody tell me the differences between PCA(Principal component analysis ) , TruncatedSVD(Truncated singular value decomposition) and ICA(Independent component analysis) in detail?

Answer 1

详细说明需要长篇PDF文档： - ）。

但这个想法很简单：

1. 主成分分析（PCA） - 分析数据原生坐标。即沿着数据协调其最大能量（方差）。对于尺寸为d的n个样本，将有$ d $正交方向。即投射在它们上的数据没有相关性。如果我们将数据看作随机变量，就意味着我们找到了一个坐标系，其中投影数据中任何一对的交叉关联（第一个力矩）都消失了。
   这是一种通过保持大部分能量来近似维数的一种非常有效的方法。
2. 截断SVD - 可以证明计算这些坐标系的方法之一是使用SVD。因此，这是应用PCA背后的想法的方法。
3. 独立成分分析（ICA） - 距离PCA更远一步。虽然在PCA中我们只处理了ICA中数据的一阶矩（相关），我们正在研究更高的时刻，并试图找到消除更高时刻的数据投影（想想缺乏相关性与概率独立性） 。