Question

在我的脚本中，余弦相似性首先需要在执行余弦相似之前将阿拉伯字符串转换为矢量在Linux下的终端上 - ＆gt;将阿拉伯字符串转换为生成阿拉伯语的矢量时出现问题：

[u'\u0627\u0644\u0634\u0645\u0633 \u0645\u0634\u0631\u0642\u0647 \u0646\u0647\u0627\u0631\u0627', u'\u0627\u0644\u0633\u0645\u0627\u0621 \u0632\u0631\u0642\u0627\u0621']

我的剧本：

train_set = ["السماء زرقاء", "الشمس مشرقه نهارا"] #Documents
test_set = ["الشمس التى فى السماء مشرقه","السماء زرقاء"] #Query
stopWords = set(stopwords.words('english'))

vectorizer = CountVectorizer(stop_words = stopWords)
transformer = TfidfTransformer()
trainVectorizerArray = vectorizer.fit_transform(train_set).toarray()
testVectorizerArray = vectorizer.transform(test_set).toarray()
print 'Fit Vectorizer to train set', trainVectorizerArray
print 'Transform Vectorizer to test set', testVectorizerArray
cx = lambda a, b : round(np.inner(a, b)/(LA.norm(a)*LA.norm(b)), 3)

for vector in trainVectorizerArray:
    print vector
    for testV in testVectorizerArray:
        print testV
        cosine = cx(vector, testV)
        print cosine

Answer 1

你的结果是一个字符串列表，只需加入字符串，你就会得到一个明确的句子：

>>> print "\n".join(a)
الشمس مشرقه نهارا
السماء زرقاء

在终端中编码，解码阿拉伯语时的问题

1 个答案: