在计算语义相似度时,Porter词干分析器给出了不同的结果

时间:2016-06-08 09:07:14

标签: java nlp ws4j

我正在使用ws4j库进行一些测试。特别是我想计算两个测试词“大学”和“教学”之间的相似性。当我应用词干时,它给我0相似性...当我不应用词干时,结果高于0。 另一方面,当我检查“性别”和“性别”之间的相似性时,词干会产生相反的影响:当我使用它时,它会产生积极的相似性。否则相似性等于0.

为什么会发生这种情况,哪种更通用的方法可以为这两个例子提供类似的结果?

public class TestWs4j
{    
    private static ILexicalDatabase db = new NictWordNet();
    private static RelatednessCalculator[] rcs = {
            new WuPalmer(db), // new HirstStOnge(db), new LeacockChodorow(db), new Lesk(db),
            new JiangConrath(db), new Path(db) // new Resnik(db), new Lin(db),
    };

    private static void run( String word1, String word2 ) {
        WS4JConfiguration.getInstance().setMFS(true);
        for ( RelatednessCalculator rc : rcs ) {
            double s = rc.calcRelatednessOfWords(word1, word2);
            System.out.println( rc.getClass().getName()+"\t"+s );
        }
    }
    public static void main(String[] args) {
        long t0 = System.currentTimeMillis();
        PorterStemmer stemmer = new PorterStemmer();
//        String w1 = stemmer.stemWord("university");
//        String w2 = stemmer.stemWord("teaching");
//        run(w1,w2);
        run("university","teaching");
        long t1 = System.currentTimeMillis();
        System.out.println( "Done in "+(t1-t0)+" msec." );
    }
}

0 个答案:

没有答案