标签: memory-management scikit-learn nlp
我试图通过sklearn.metrics.pairwise.cosine_similarity计算cosine_similarity矩阵。输出矩阵可能是60k * 50k。但是,它返回带有32G内存的MemoryError。我考虑为我的服务器添加更多内存,但是我想估计我真正需要多少内存。
sklearn.metrics.pairwise.cosine_similarity
感谢。
答案 0 :(得分:1)
所需内存的良好估计值为60,000 * 50,000 * 4字节= 12千兆字节。如果你使用的是双打而不是浮点数,那么它的内存就会增加一倍。