Question

我有两个带有多个变量的数据帧。每个数据框都属于一个评估者。我想计算两个数据帧之间的interrater可靠性（Cohen的Kappa）。

例如：

Rater1 <- matrix(c(1,0,0,1,0,0,0,0,1),ncol=3,byrow=TRUE)
colnames(Rater1)<-c("V1","V2","V3")
Rater2 <- matrix(c(0,1,0,1,0,1,0,0,1),ncol=3,byrow=TRUE)
colnames(Rater2)<-c("V1","V2","V3")

它必须与“内部收益率”相关。包，但我真的无法弄清楚如何。非常感谢任何正确方向的帮助。

Answer 1

使用您提供的数据，您可以使用以下代码计算每个变量的kappa：

for (dimension in 1:3) {
    v = paste0("V", dimension)
    print(irr::kappa2(cbind(Rater1[, v], Rater2[, v])))
}

你说你想要两个数据帧之间的kappa，这意味着我们需要以某种方式将数据帧折叠成两个向量。您需要做的就是将您对主题的定义更改为任何被评级的变量。你基本上可以忽略这样一个事实，即主题来自同一个来源，因为你对评价者（他们是独立的）之间的协议感兴趣，而不是被评价事物的特征（不是独立的）。

irr::kappa2(cbind(matrix(Rater1), matrix(Rater2)))

Cohen的两个数据帧的Kappa

1 个答案: