如何估算余弦相似矩阵所需的内存?

时间:2016-10-19 05:54:26

标签: memory-management scikit-learn nlp

我试图通过sklearn.metrics.pairwise.cosine_similarity计算cosine_similarity矩阵。输出矩阵可能是60k * 50k。但是,它返回带有32G内存的MemoryError。我考虑为我的服务器添加更多内存,但是我想估计我真正需要多少内存。

感谢。

1 个答案:

答案 0 :(得分:1)

所需内存的良好估计值为60,000 * 50,000 * 4字节= 12千兆字节。如果你使用的是双打而不是浮点数,那么它的内存就会增加一倍。