因此,我使用gensim为NLP Task构建了自定义分类器。现在,我有两个简单的数组,即测试集(majorityVoteArray)和分类器的预测(similarityArray)。
我可以使用sklearn轻松获得混淆矩阵和准确性报告:
confusion_matrix(majorityVoteArray, similarityArray)
classification_report(majorityVoteArray, similarityArray))
但是,这些都不包含有关我的结果的意义的任何信息。但是,由于这是对大块文本的分类任务,因此我的测试集很小,因此我对此表示怀疑。有没有像上面的函数那样获得显着性检验的简便方法?
如果有帮助,我将获得建立测试集的界面同意分数的结果:
kappa 0.7987223933637878
fleiss 0.7981046559538525
alpha 0.7992465904091509
scotts 0.7978992520897492