NLTK Wordnet Synset用于单词短语

时间:2015-06-02 20:19:22

标签: python nltk wordnet

我正在使用Python NLTK Wordnet API。我正在尝试找到代表一组单词的最佳synset。

如果我需要为“学校和办公用品”找到最好的同义词,我不知道如何解决这个问题。到目前为止,我已经尝试找到单个单词的同义词集,然后计算出这样的最佳最低常见上位词:

def find_best_synset(category_name):
    text = word_tokenize(category_name)
    tags = pos_tag(text)

    node_synsets = []
    for word, tag in tags:
        pos = get_wordnet_pos(tag)
        if not pos:
            continue
        node_synsets.append(wordnet.synsets(word, pos=pos))

    max_score = 0
    max_synset = None
    max_combination = None
    for combination in itertools.product(*node_synsets):
        for test in itertools.combinations(combination, 2):
            score = wordnet.path_similarity(test[0], test[1])
            if score > max_score:
                max_score = score
                max_combination = test
                max_synset = test[0].lowest_common_hypernyms(test[1])
    return max_synset

然而,这不是很好,而且成本很高。有没有办法找出哪个synset最能代表多个单词?

感谢您的帮助!

1 个答案:

答案 0 :(得分:4)

除了我在评论中所说的内容之外,我认为你选择最佳超级用户的方式可能有缺陷。您最终得到的同义词不是所有单词的最低常见超字名,而只是其中两个单词的最低级别。

让我们坚持你的榜样" school&办公用品"。对于表达式中的每个单词,您将获得许多同义词。因此,变量node_synsets将如下所示:

[[school_1, school_2], [office_1, office_2, office_3], [supply_1]]

在此示例中,有6种方法可以将每个synset与任何其他synset组合在一起:

[(school_1, office_1, supply_1),
 (school_1, office_2, supply_1),
 (school_1, office_3, supply_1),
 (school_2, office_1, supply_1),
 (school_2, office_2, supply_1),
 (school_2, office_3, supply_1)]

这些三元组是您在外部for循环(使用itertools.product)中迭代的内容。如果表达式有4个单词,你将迭代四倍,其中包含5个五元组等。

现在,使用内部for循环,您可以配对每个三元组。第一个是:

[(school_1, office_1),
 (school_1, supply_1),
 (office_1, supply_1)]

...并确定每对中最低的超名称。因此,最终你会得到最低的超级名称,例如school_2office_1,这可能是某种机构。这可能不是很有意义,因为它没有考虑最后一个单词的任何同义词。

也许你应该尝试在他们的同义词的每个组合中找到所有三个单词的最低常见超量名,并在其中获得最佳得分。