可以将sklearn.decomposition.TruncatedSVD应用于部分矩阵吗?

时间:2017-04-21 00:05:04

标签: python matrix machine-learning scikit-learn svd

我将sklearn.decomposition.TruncatedSVD应用于非常大的矩阵。如果矩阵超过一定的大小(比如说350k乘25k),则svd.fit(x)会耗尽RAM。

我将svd应用于要素矩阵,其中每一行代表从单个图像中提取的一组要素。

要解决内存问题,将svd应用于矩阵的某些部分(然后连接)是否安全?

结果会一样吗?即:

from sklearn.decomposition import TruncatedSVD
svd = TruncatedSVD(n_components=128)
part_1 = svd.fit_transform(features[0:100000, :])
part_2 = svd.fit_transform(features[100000:, :])
svd_features = np.concatenate((part_1, part_2), axis=0)

..相当于(?):

from sklearn.decomposition import TruncatedSVD
svd = TruncatedSVD(n_components=128)
svd_features = svd.fit_transform(svd_features)

如果没有,是否有针对非常大的矩阵的暗淡减少的解决方法?

1 个答案:

答案 0 :(得分:1)

结果不一样,

例如,请考虑以下代码:

import numpy as np
features=np.array([[3, 2, 1, 3, 1],
       [2, 0, 1, 2, 2],
       [1, 3, 2, 1, 3],
       [1, 1, 3, 2, 3],
       [1, 1, 2, 1, 3]])
from sklearn.decomposition import TruncatedSVD
svd = TruncatedSVD(n_components=2)
svd = TruncatedSVD(n_components=2)
part_1 = svd.fit_transform(features[0:2, :])
part_2 = svd.fit_transform(features[2:, :])
svd_features = np.concatenate((part_1, part_2), axis=0)
svd_b = TruncatedSVD(n_components=2)
svd_features_b = svd_b.fit_transform(features)
print(svd_features)
print(svd_features_b)

打印

[[ 4.81379561 -0.90959982]
 [ 3.36212985  1.30233746]
 [ 4.70088886  1.37354278]
 [ 4.76960857 -1.06524658]
 [ 3.94551566 -0.34876626]]


[[ 4.17420185  2.47515867]
 [ 3.23525763  0.9479915 ]
 [ 4.53499272 -1.13912762]
 [ 4.69967028 -0.89231578]
 [ 3.81909069 -1.05765576]]

彼此不同。