非常大且非常稀疏的非负矩阵分解

Question

我有一个非常大且稀疏的矩阵（531K x 315K），总细胞数约为167亿。非零值仅为1秒。非零值的总数约为45K。是否有一个有效的NMF包来解决我的问题？我知道有几个包，它们只适用于小尺寸的数据矩阵。任何想法都有帮助提前谢谢。

Answer 1

scikit-learn将轻松处理 ！

代码：

from time import perf_counter as pc
import numpy as np
import scipy.sparse as sps
from sklearn.decomposition import NMF

""" Create sparse data """
nnz_i, nnz_j, nnz_val = np.random.choice(531000, size=45000), \
                        np.random.choice(315000, size=45000), \
                        np.random.random(size=45000)
X =  sps.csr_matrix((nnz_val, (nnz_i, nnz_j)), shape=(531000, 315000))
print('X-shape: ', X.shape, ' X nnzs: ', X.nnz)
print('type(X): ', type(X))
# <class 'scipy.sparse.csr.csr_matrix'> #                          !!!!!!!!!!

""" NMF """
model = NMF(n_components=50, init='random', random_state=0, verbose=True)

start_time = pc()
W = model.fit_transform(X)
end_time = pc()

print('Used (secs): ', end_time - start_time)
print(model.reconstruction_err_)
print(model.n_iter_)

输出：

X-shape:  (531000, 315000)  X nnzs:  45000
type(X):  <class 'scipy.sparse.csr.csr_matrix'>
violation: 1.0
violation: 0.2318929397542804
violation: 0.11045394409727402
violation: 0.08104138988253409
...
violation: 9.659665625799714e-05
Converged at iteration 71
Used (secs):  247.94092973091756
122.27109041
70

说明：

• 确保使用稀疏矩阵作为输入，否则无法利用稀疏性
• 我正在使用版本 0.19.1 ，因此使用乘法更新求解器（＆gt; = 0.19）
  • 但是旧的基于CD的求解器也应该处理这个问题！
• 以上是使用＆lt; 800 MB内存

其他约束

如评论中所述，OP希望添加其他约束，但仍未正式指定这些约束。

这将需要一些优化程序的全新实现，包括一些理论步法（取决于约束）。

作为替代方案，这可以通过通用的凸面编程求解器来解决。例如。由cvxpy制定并由SCS解决。当然，交替最小化过程也需要进行（因为联合问题是非凸的）并且它将比这种专门的sklearn实现更糟糕。但它可能适用于OP数据。