Question

我有来自2位独立评价者的一系列评分（分类至少12个级别）。我想计算评估者之间的可靠性，但允许一个级别的差异。即1级和2级将被视为协议，但1级和3级不会。我不想使用像相关系数这样的度量，因为知道额定值是否在1级差异之内是很重要的。可以这样做吗？

编辑以包含样本数据：每个单元格代表评估者的数量（max = 2），分配A-E等级

structure(list(A = c(2, 2, 0, 0, 0,0,0,0,0), B = c(0,0,0,0,1,0,1,0,2), C = c(0,0,0,0,1,0,0,2,0), D=c(0,0,2,0,0,2,1,0,0), E=c(0,0,0,2,0,0,0,0,0)),row.names = c(NA,9L), class = "data.frame")

Answer 1

好的，我不确定这对你是否有用，但我认为它会达到标准。基本上，您需要根据不同的协议标准在评估者之间找到协议。这真的不是什么大不了的事。基本上，为了Cohen的kappa，评估者同意或不同意。

首先制作样本数据：

testdata <- structure(list(A=c(2,2,0,0,0,0,0,0,0),
                           B=c(0,0,0,0,1,0,1,0,2),
                           C=c(0,0,0,0,1,0,0,2,0),
                           D=c(0,0,2,0,0,2,1,0,0),
                           E=c(0,0,0,2,0,0,0,0,0)),
            row.names = c(NA,9L),
            class = "data.frame")

对于kappa的计算，我们将使用irr包：

library(irr)

kappa2中的irr函数采用2 * n数据帧或矩阵并返回计算结果。您的数据格式不同，因此我们需要将其转换为kappa2可以处理的内容。如果你已经拥有这种格式，那将更容易。

首先，我首先创建一个新的数据框来接收重组结果。

new_testdata <- data.frame(R1="",R2="",stringsAsFactors=FALSE)

现在，一个简单的循环遍历每一行并返回一个带有每个评估者评级的向量。显然，这不是指定的实际评级;这里的代码假设第一个评估者的评分总是高于第二个评估者。在这个特殊情况下并不重要，因为我们只关心协议，但我希望你有完整的数据。

for(x in 1:dim(testdata)[1]) {
    new_testdata <- rbind(new_testdata,rep(names(testdata),testdata[x,]))
}
rm(x)
new_testdata <- new_testdata[-1,] # Drop first, empty column

现在，我们可以获得常规的kappa。

kappa2(ratings=new_testdata)

  Cohen's Kappa for 2 Raters (Weights: unweighted)

  Subjects = 9
  Raters = 2
  Kappa = 0.723

  z = 4.56
  p-value = 5.23e-06

现在，您希望拥有一个不同的kappa，其中一个级别的分歧未被评分为问题。那没问题;基本上，你需要做的是将new_testdata中的内容转换为协议或分歧的二进制表示。在这种情况下，它不应该影响kappa。（但是，如果你的评分者只有两个级别可供选择，它会影响kappa;这会人为地限制价值）。

首先，让我们创建一个将字母转换为数字的表格。这将使我们的生活更轻松。

convtable <- data.frame(old=c("A","B","C","D","E"),
                        new=c(1,2,3,4,5),
                        stringsAsFactors=FALSE)

现在，我们可以使用它将new_testdata中的值转换为数字表示。

new_testdata$R1 <- convtable$new[match(new_testdata$R1,convtable$old)]
new_testdata$R2 <- convtable$new[match(new_testdata$R2,convtable$old)]

我们可以通过仅取两列之间的差异来轻松检查协议。

new_testdata$diff <- abs(new_testdata$R1-new_testdata$R2)

然后，只需将R1和R2重新编码为1和1，以满足您的协议标准（小于或等于两个评级之间的差异的一个级别），否则为1和0（或0和1）。

new_testdata[new_testdata$diff<=1,c("R1","R2")] <- c(1,1)
new_testdata[new_testdata$diff>1,c("R1","R2")] <- c(1,0)
new_testdata <- new_testdata[1:2]              # Drop the difference variable

现在，再次运行你的kappa。

kappa2(ratings=new_testdata)

  Cohen's Kappa for 2 Raters (Weights: unweighted)

  Subjects = 9
  Raters = 2
  Kappa = 0

  z = NaN
  p-value = NaN

哇，发生什么事了？好吧，当你使用协议为+/- 1级时，你给我的数据基本上是完全一致的。在二进制响应变量上有一些methodological issues that can occur when执行kappa，如我链接的CrossValidated帖子中所示。如果您的数据不像样本数据那么“统一”，那么您应该得到一个真实的kappa值而不是像那个那样的异常零值。但是，这更像是一个方法问题，您可能需要对CrossValidated进行跟进。

使用R来计算cohen的Kappa的分类等级但是在容差范围内？

1 个答案: