如何对基于方面的意见挖掘进行绩效评估?

时间:2016-11-29 13:44:01

标签: nlp nltk stanford-nlp sentiment-analysis

我已经为每个方面计算了一些值,并使用sentiwordnet识别其极性。

例如,电影很棒。这里电影是一个方面,我使用一些度量标识其值,例如movie = 1.5677,极性为正。以后如何识别精度和召回?

2 个答案:

答案 0 :(得分:0)

由于您没有离散分类器,因此精确度将是您的计算分数与真实分数的接近程度(总和平方误差或总和绝对误差将起作用)。如果您有一个离散分类器,您只需计算正确分类的数量。

召回将是您能够成功提取的方面的百分比。因此,对于您的示例,您提取了唯一的方面,得分为1.0。如果输入是“比萨饼和电影很棒”并且你只提取了“电影”,那么你的回忆分数将是0.5

通常你可以将你的精确度和召回分数组合成F-Measure,但是,由于你没有离散分类器,你可能无法使用F-Measure

答案 1 :(得分:0)

为了评估您在NLP中的模型,我们可以使用它,正如您所知:

Per and R

F-score and Acuraccy

1。评估方面提取模型:

TP: (真实肯定) 正确提取的方面数 FP: (假阳性) 被注释但未由算法提取的方面数 FN: (假阴性) 算法未注释但已提取的方面数 TN: (真否定) 算法未注释和未提取的方面数量


2。评估情感分类模型:

TP: 该算法正确计算出的情感极性分数的数量 FP: 算法不正确计算出的情感极性分数的数量不相关 FN: 未分配情感但由算法计算出的方面数 TN: 未分配情感且算法未计算出的方面数