Question

我正在尝试在scikitLearn中使用fastICA过程。出于验证目的，我尝试了解基于PCA和ICA的信号重建之间的区别。

观察到的信号的原始数量是6，我试图使用3个重建独立分量。问题是无论我使用什么规范，ICA和PCA都会导致相同的重建错误。有人可以将光线投射到这里发生的事情上。

代码如下：

 pca = PCA(n_components=3)
 icamodel = FastICA(n_components=3,whiten=True)

 Data = TrainingDataDict[YearSpan][RiskFactorNames]

 PCR_Dict[YearSpan] = pd.DataFrame(pca.fit_transform(Data), 
                                   columns=['PC1','PC2','PC3'],index=Data.index)

 ICR_Dict[YearSpan] = pd.DataFrame(icamodel.fit_transform(Data), 
                                   columns=['IC1','IC2','IC3'],index=Data.index)

'------------------------Inverse Transform of the IC and PCs -----------'

 PCA_New_Data_Df = pd.DataFrame(pca.inverse_transform(PCR_Dict[YearSpan]),
                                   columns =['F1','F2','F3'],index = Data.index)

 ICA_New_Data_Df = pd.DataFrame(icamodel.inverse_transform(ICR_Dict[YearSpan]),
                                   columns =['F1','F2','F3'],index = Data.index)

以下是我测量重建误差的方法

'-----------reconstruction errors------------------'
 print 'PCA reconstruction error L2 norm:',np.sqrt((PCA_New_Data_Df - Data).apply(np.square).mean())

 print 'ICA reconstruction error L2 norm:',np.sqrt((ICA_New_Data_Df - Data).apply(np.square).mean())

 print 'PCA reconstruction error L1 norm:',(PCA_New_Data_Df - Data).apply(np.absolute).mean()

 print 'ICA reconstruction error L1 norm:',(ICA_New_Data_Df - Data).apply(np.absolute).mean()

以下是PC和IC s

的尾部说明

PC Stats :  ('2003', '2005') 
       Kurtosis  Skewness
PCR_1 -0.001075 -0.101006
PCR_2  1.057140  0.316163
PCR_3  1.067471  0.047946 

IC Stats :  ('2003', '2005') 
       Kurtosis  Skewness
ICR_1 -0.221336 -0.204362
ICR_2  1.499278  0.433495
ICR_3  3.654237  0.072480

以下是重建的结果

PCA reconstruction error L2 norm: 
SPTR        0.000601
SPTRMDCP    0.001503
RU20INTR    0.000788
LBUSTRUU    0.002311
LF98TRUU    0.001811
NDDUEAFE    0.000135
dtype: float64 

ICA reconstruction error L2 norm : 
SPTR        0.000601
SPTRMDCP    0.001503
RU20INTR    0.000788
LBUSTRUU    0.002311
LF98TRUU    0.001811
NDDUEAFE    0.000135

即使L1规范也是如此。我有点困惑！

Answer 1

很抱歉收到的答复太晚，希望这个答案对您有所帮助。

fastICA可以看作是增白（可以通过PCA实现）加上正交旋转（正交旋转，以便估计的源尽可能地不是高斯）。

正交旋转不会影响ICA解的重建误差，因此PCA和ICA的重建误差相同。

在心理学中经常使用旋转PCA解决方案（例如Varimax旋转）。但是，fastICA中的正交旋转矩阵是通过迭代过程（AapoHyvärinen的不动点迭代方案）估算的。

快速ICA使用scikit学习 - 重建错误分析

1 个答案: