可以将sklearn.decomposition.TruncatedSVD应用于部分矩阵吗？

Question

我将sklearn.decomposition.TruncatedSVD应用于非常大的矩阵。如果矩阵超过一定的大小（比如说350k乘25k），则svd.fit（x）会耗尽RAM。

我将svd应用于要素矩阵，其中每一行代表从单个图像中提取的一组要素。

要解决内存问题，将svd应用于矩阵的某些部分（然后连接）是否安全？

结果会一样吗？即：

from sklearn.decomposition import TruncatedSVD
svd = TruncatedSVD(n_components=128)
part_1 = svd.fit_transform(features[0:100000, :])
part_2 = svd.fit_transform(features[100000:, :])
svd_features = np.concatenate((part_1, part_2), axis=0)

..相当于（？）：

from sklearn.decomposition import TruncatedSVD
svd = TruncatedSVD(n_components=128)
svd_features = svd.fit_transform(svd_features)

如果没有，是否有针对非常大的矩阵的暗淡减少的解决方法？

Answer 1

结果不一样，

例如，请考虑以下代码：

import numpy as np
features=np.array([[3, 2, 1, 3, 1],
       [2, 0, 1, 2, 2],
       [1, 3, 2, 1, 3],
       [1, 1, 3, 2, 3],
       [1, 1, 2, 1, 3]])
from sklearn.decomposition import TruncatedSVD
svd = TruncatedSVD(n_components=2)
svd = TruncatedSVD(n_components=2)
part_1 = svd.fit_transform(features[0:2, :])
part_2 = svd.fit_transform(features[2:, :])
svd_features = np.concatenate((part_1, part_2), axis=0)
svd_b = TruncatedSVD(n_components=2)
svd_features_b = svd_b.fit_transform(features)
print(svd_features)
print(svd_features_b)

打印

[[ 4.81379561 -0.90959982]
 [ 3.36212985  1.30233746]
 [ 4.70088886  1.37354278]
 [ 4.76960857 -1.06524658]
 [ 3.94551566 -0.34876626]]


[[ 4.17420185  2.47515867]
 [ 3.23525763  0.9479915 ]
 [ 4.53499272 -1.13912762]
 [ 4.69967028 -0.89231578]
 [ 3.81909069 -1.05765576]]

彼此不同。