如何重现斯坦福神经解析器的结果？

Question

我想运行Stanford neural dependency parser，其表现非常出色，如92.0％UAS，89.7％LAS（Chen＆amp; Manning，2014）。我试图按照他们的指示，但得到了悲伤的数字：66.2％UAS，62.0％LAS。有人可以告诉我我做错了吗？

命令：

PENN_TEST_PATH="test.mrg"
CONLL_TEST_PATH="$PENN_TEST_PATH.dep"

cat penntree/23/* > $PENN_TEST_PATH  

java -cp stanford-parser-full-2014-10-31/stanford-parser.jar edu.stanford.nlp.trees.EnglishGrammaticalStructure -originalDependencies -conllx -treeFile $PENN_TEST_PATH > $CONLL_TEST_PATH
java -cp stanford-parser-full-2014-10-31/stanford-parser.jar edu.stanford.nlp.parser.nndep.DependencyParser -model stanford-parser-full-2014-10-31/PTB_Stanford_params.txt.gz -testFile $CONLL_TEST_PATH

输出：

Loading depparse model file: stanford-parser-full-2014-10-31/PTB_Stanford_params.txt.gz ...
dict=44392
pos=48
label=46
embeddingSize=50
hiddenSize=200
numTokens=48
preComputed=422468
###################
#Transitions: 91
#Labels: 45
ROOTLABEL: root
PreComputed 100000, Elapsed Time: 1.789 (s)
Initializing dependency parser done [2.6 sec].
Test File: test.mrg.dep
UAS = 66.2110
LAS = 62.0160
DependencyParser tagged 56684 words in 2416 sentences in 3.4s at 16559.7 w/s, 705.8 sent/s.

参考

Chen，D。，＆amp; Manning，C。（2014）。一种快速准确的神经网络依赖解析器。在2014年自然语言处理经验方法会议论文集（EMNLP）（第740-750页）中。卡塔尔多哈：计算语言学协会。

Answer 1

我发现了问题。我需要使用edu.stanford.nlp.trees.EnglishGrammaticalStructure选项致电-basic。