word2vec - 加载模型时减少RAM消耗

Question

我有大约30个word2vec模型。在python脚本中加载它们时，每个消耗几GB的RAM，因此不可能同时使用所有这些RAM。有没有办法在不将完整模型加载到RAM的情况下使用模型？

Answer 1

我对word2vec中的gensim实现并不十分熟悉，但该模型经过培训后，应该基本上归结为（word - ＆gt; vector）对的字典。此功能由gensim.models.KeyedVectors类提供，与用于派生向量的训练算法无关。

您可以扩展该类，以便在创建时根据需要从数据库（例如SQLite）加载向量而不是内存。

如果您在github上打开一个问题并与核心开发人员就此事开始讨论，可能效果最佳。