如何估算余弦相似矩阵所需的内存？

Question

我试图通过sklearn.metrics.pairwise.cosine_similarity计算cosine_similarity矩阵。输出矩阵可能是60k * 50k。但是，它返回带有32G内存的MemoryError。我考虑为我的服务器添加更多内存，但是我想估计我真正需要多少内存。

感谢。

Answer 1

所需内存的良好估计值为60,000 * 50,000 * 4字节= 12千兆字节。如果你使用的是双打而不是浮点数，那么它的内存就会增加一倍。