我最近开始使用weka,我正在尝试使用朴素贝叶斯将推文分类为正面或负面。所以我有一个带有推文的训练集,我给了标签和一个带有推文的测试集,所有推文都标有“正面”标签。当我跑Naive Bayes时,我得到以下结果:
正确分类的实例:69 92% 错误分类的实例:6 8%
然后,如果我将测试集中的推文标签更改为“否定”并再次运行Naive Bayes,结果将被反转:
正确分类的实例:6 8% 错误分类的实例:69 92%
我认为正确分类的实例显示了朴素贝叶斯的准确性,无论测试集中的推文标签如何,它都应该是相同的。我的数据有问题或者我没有正确理解正确分类的实例的含义吗?
非常感谢你的时间,
Nantia
答案 0 :(得分:6)
测试集上的标签应该是实际正确的分类。通过要求分类器对测试集中每个实例的分类给出最佳猜测来计算性能。然后将预测的分类与实际分类进行比较以确定准确性。因此,如果您翻转您提供的“正确”值,结果也将被翻转。
答案 1 :(得分:1)
根据您的训练集,69.92%的实例被归类为阳性。如果测试集的标签(正确答案)表明它们都是正数,则表明69.92%是正确的。如果测试集(以及分类)是相同的,但是你切换了正确的答案,那么当然,正确的百分比也将是相反的。
请记住,为了评估分类器,您需要测试集的真实标签。否则,您无法将分类器的答案与真实答案进行比较。在我看来,你可能误解了这一点。您可以获取看不见的数据的标签,如果这是您想要的,但在这种情况下,您无法评估分类器的准确性。