crawl-300d-2M.vec.zip 不加载

Question

crawl-300d-2M.vec.zip：在 Common Crawl 上训练的 200 万个词向量（600B 令牌）。 没有在 kaggle 中加载。您的笔记本尝试分配比可用内存更多的内存。它已经重新启动。我如何加载....帮助帖子

import io

def load_vectors(fname):
    fin = io.open(fname, 'r', encoding='utf-8', newline='\n', errors='ignore')
    n, d = map(int, fin.readline().split())
    data = {}
    for line in fin:
        tokens = line.rstrip().split(' ')
        data[tokens[0]] = map(float, tokens[1:])
    return data