这似乎是一个奇怪的问题,但是我对此并不陌生,以为我还是会问。
我想对笔记本电脑上的各种不同文件使用此Google新闻模型。这意味着我将在不同的Jupyter笔记本中反复运行此行:
model = word2vec.KeyedVectors.load_word2vec_format(“ GoogleNews-vectors-negative300.bin”,binary = True)
这吃了吗?1)存储(我注意到我的存储无故成指数增长) 2)如果我在运行下一个笔记本之前先关闭上一个笔记本,则内存要比其他情况少。
一天之内,我的存储空间已减少了50GB,而我在这台计算机上所做的唯一一件事就是运行Google新闻模型(我没有进行most_similar())。重新启动和关闭笔记本电脑并没有帮助,笔记本电脑上没有任何大文件。有什么想法吗?
谢谢。
答案 0 :(得分:1)
仅加载模型通常不会再使用任何磁盘存储空间。 (一个例外:如果加载或使用需要超出RAM的可寻址内存,则可以开始使用虚拟内存,根据您的操作系统,虚拟内存可能会显示为更少的磁盘空间。但是,对于这些类型的模型,您要避免依赖任何虚拟内存。虚拟内存,因为基本的most_similar()
操作会在整个模型中循环,如果每次从磁盘读取它们,&都会非常慢。)
加载模型将使用内存,然后在第一次执行most_similar()
时会使用更多内存。 (这需要单位归一化的向量,这些向量是在第一次需要时计算出来然后进行缓存的。)
但是终止笔记本应该释放该内存。 (请注意,关闭选项卡可能无法彻底终止Jupyter笔记本电脑。如果笔记本电脑仍在笔记本电脑服务器上运行,即使没有浏览器查看,它仍将使用/保留内存。)