如何近似大型稀疏scipy矩阵的相关矩阵？

Question

出于此目的，我现在使用该线程link的解决方案，但由于我的矩阵A大小为600万到40000矩阵，因此它会产生预期的内存错误。因此，我正在寻找任何其他解决方案来近似相关矩阵。我怎样才能为这个问题接种疫苗？任何帮助表示赞赏。

Answer 1

您的问题是您无法将结果保存在内存中（6e6 ^ 2值？）。

您可以从原始矩阵中删除行。例如，如果要搜索高度相关的行，则可能需要对行进行聚类，以便解决问题。

您还可以使用scipy.sparse.linalg.svds缩小列数。但是你仍然需要处理行^ 2相关性。