背景
我有一些带有一些样本数据的向量,每个向量都有一个类别名称(地点,颜色,名称)。
['john','jay','dan','nathan','bob'] -> 'Names'
['yellow', 'red','green'] -> 'Colors'
['tokyo','bejing','washington','mumbai'] -> 'Places'
我的目标是训练一个模型,该模型采用新的输入字符串并预测它属于哪个类别。例如,如果新输入是"紫色"然后我应该能够预测颜色'作为正确的类别。如果新输入是"卡尔加里"它应该预测' Places'作为正确的类别。
APPROACH
我做了一些研究并遇到了Word2vec。这个图书馆有一个"相似性"和"最相似"我可以使用的功能。所以我想到的一种蛮力方法如下:
因此,例如输入"粉红色"我可以用向量"名称"中的单词来计算它的相似性。取平均值,然后对其他2个向量也这样做。给出最高相似度平均值的向量将是输入所属的正确向量。
问题
鉴于我在NLP和机器学习方面的知识有限,我不确定这是否是最好的方法,因此我正在寻找有关解决问题的更好方法的帮助和建议。我对所有建议持开放态度,并请指出我在机器学习和NLP世界的新手时可能犯的任何错误。
答案 0 :(得分:20)
如果您正在寻找最简单/最快速的解决方案,那么我建议您使用预先训练过的单词嵌入(Word2Vec或GloVe),并在其上构建一个简单的查询系统。这些向量已经在一个庞大的语料库上进行了训练,并且可能包含对您的域数据足够好的近似值。
以下是我的解决方案:
import numpy as np
# Category -> words
data = {
'Names': ['john','jay','dan','nathan','bob'],
'Colors': ['yellow', 'red','green'],
'Places': ['tokyo','bejing','washington','mumbai'],
}
# Words -> category
categories = {word: key for key, words in data.items() for word in words}
# Load the whole embedding matrix
embeddings_index = {}
with open('glove.6B.100d.txt') as f:
for line in f:
values = line.split()
word = values[0]
embed = np.array(values[1:], dtype=np.float32)
embeddings_index[word] = embed
print('Loaded %s word vectors.' % len(embeddings_index))
# Embeddings for available words
data_embeddings = {key: value for key, value in embeddings_index.items() if key in categories.keys()}
# Processing the query
def process(query):
query_embed = embeddings_index[query]
scores = {}
for word, embed in data_embeddings.items():
category = categories[word]
dist = query_embed.dot(embed)
dist /= len(data[category])
scores[category] = scores.get(category, 0) + dist
return scores
# Testing
print(process('pink'))
print(process('frank'))
print(process('moscow'))
要运行它,您必须从here下载并解压缩预训练的GloVe数据(小心,800Mb!)。在运行时,它应该产生这样的东西:
{'Colors': 24.655489603678387, 'Names': 5.058711671829224, 'Places': 0.90213905274868011}
{'Colors': 6.8597321510314941, 'Names': 15.570847320556641, 'Places': 3.5302454829216003}
{'Colors': 8.2919375101725254, 'Names': 4.58830726146698, 'Places': 14.7840416431427}
......看起来很合理。就是这样!如果您不需要这么大的模型,可以根据tf-idf分数过滤glove
中的字词。请记住,模型大小仅取决于您拥有的数据和您可能希望查询的单词。
答案 1 :(得分:0)
此外,它的价值,PyTorch现在有一个好的,更快的implementation手套。