快速文本使用(开始比较词向量)

时间:2021-02-22 13:25:22

标签: python fasttext

我不得不问这个问题我有点惭愧,因为我觉得我应该知道这一点。我编程的时间不长,但我正在尝试将我学到的知识应用到我正在从事的项目中,这就是我解决这个问题的方式。 Fast Text 有一个词库和关联点 https://fasttext.cc/docs/en/english-vectors.html 。它用于查找单词的向量。我只想查一两句话,看看结果是什么,看看它是否对我的项目有用。他们提供了一个向量列表,然后是一个小代码块。我无法从中做出正面或反面。我得到了其中的一些,但我没有看到打印功能 - 是否将数据返回到您自己代码的不同部分?我也不确定代码块在哪里打开数据文件,通常 fname 是一个句柄吗?或者他们希望您在那里输入文件的路径。我也不熟悉 io,我用谷歌搜索了这个词,但没有找到任何有用的东西。这是我需要下载的东西还是它已经是python的一部分。我知道我可能有点不合时宜,但我最好通过实践来学习,所以请不要讨厌我。

    import io

def load_vectors(fname):
    fin = io.open(fname, 'r', encoding='utf-8', newline='\n', errors='ignore')
    n, d = map(int, fin.readline().split())
    data = {}
    for line in fin:
        tokens = line.rstrip().split(' ')
        data[tokens[0]] = map(float, tokens[1:])
    return data

1 个答案:

答案 0 :(得分:1)

尝试以下操作:

my_file_name = 'C:/path/to/file.txt' # Use the path to your file of rows of sentences

my_data = load_vectors(my_file_name) # Function will return data

print(my_data) # To see the output

相关问题