在经过一段时间(大约4天)之后,我已经搜索并尝试解决此问题。我正在尝试训练瑞典人带有NER标签的语料库。我从here获得了测试数据和训练数据。
这是我尝试训练模型时遇到的错误
\project\stanford_ner>java -mx1000m -cp stanford-ner.jar;lib/*
edu.stanford.nlp.ie.crf.CRFClassifier -prop train/train_properties.txt
Invoked on Tue Sep 25 10:44:13 IST 2018 with arguments: -prop
train/train_properties.txt
usePrevSequences=true
useClassFeature=true
useTypeSeqs2=true
useSequences=true
wordShape=chris2useLC
useTypeySequences=true
useDisjunctive=true
noMidNGrams=true
serializeTo=dummy_ner_model_swede.ser.gz
maxNGramLeng=6
useNGrams=true
usePrev=true
useNext=true
maxLeft=1
trainFile=train/dummy_swede_corpus.tsv
map=word=0,answer=1
useWord=true
useTypeSeqs=true
Error on line 85124: bn
Exception in thread "main" java.lang.UnsupportedOperationException: Argument
array lengths differ: [class
edu.stanford.nlp.ling.CoreAnnotations$TextAnnotation, class
edu.stanford.nlp.ling.CoreAnnotations$AnswerAnnotation] vs. [bn]
at edu.stanford.nlp.ling.CoreLabel.initFromStrings(CoreLabel.java:263)
at edu.stanford.nlp.ling.CoreLabel.(CoreLabel.java:150)
我要指出的错误是
:Error on line 85124: bn
Exception in thread "main" java.lang.UnsupportedOperationException: Argument array lengths differ: [class
edu.stanford.nlp.ling.CoreAnnotations$TextAnnotation, class
edu.stanford.nlp.ling.CoreAnnotations$AnswerAnnotation] vs. [bn]
我不理解这里的“ bn”是什么。我确实经历了github中代码的实现,但没有成功。如果我使用所有训练数据直到错误发生之前,我都可以训练数据并获取模型。
在错误的线上,我看不到任何特别之处。这只是属性文件功能列表中提到的带有NER标记的另一个词。