Question

我为大样本点数据集创建混淆矩阵，需要通过R confusionMatrix caret函数循环使用它们（我使用精度输出中的指标，即我不能只使用table）。每组样本点应该有三个类/因子，即我应该有3x3表，但是一些参考和预测数据包含少于两个类，或者非重叠类ex：< / p>

 Class  A  B             Class  C
   A    8  2               A    3
   B    1  0
   C    1  7
* columns = reference data, rows = predicted data

我需要相同数量的类/因子来运行confusionMatrix，所以我想做的是有条件地用零替换缺少的因子，如下所示：

 Class  A  B  C          Class  A  B  C
   A    8  2  0            A    0  0  3
   B    1  0  0            B    0  0  0
   C    1  7  0            C    0  0  0

使用的预测/参考数据是值的数字列表，所以我不会在这里重现它们;对于我上面提供的示例，您可以将其视为一个像以下的矢量：

predicted.data[1] = A A A A A A A A A A B C C C C C C C C
reference.data[1] = A A A A A A A A A A B B B B B B B B B
predicted.data[2] = A A A
reference.data[2] = C C C

我尝试按照以下方式创建某种条件if语句：

   tab <- table(predicted.data, reference.data)
   if(nrow(tab) != ncol(tab){
   classes <- c("A","B","C")
   missing <- setdiff(classes,names(tab))
   ...
   ...
   }

# would put in a loop/index actual data obviously

但我似乎无法以我想要的方式工作。有什么想法吗？

编辑：我使用（通过栅格/形状文件）和错误信息的实际数据示例;数据具有相同的长度，但没有参考数据被归类为＆＃39; 2＆＃39;：

> mask.vals[[4]]
  [1] 0 4 0 0 0 2 4 0 4 0 4 0 0 0 0 0 4 0 4 2 0 0 0 0 0 0 0 4 0 0 0 0 0 0 4 0 
0 0 0 0 0 0 0 2 2 0 2 0 4 0 0 4 2 0 0 4 0 0 0 0 0 0 0 2 0 2 0 2 4 0 4
 [72] 4 0 0 0 0 4 4 0 0 0 0 0 0 0 4 0 0 0 0 4 4 4 4 0 4 4 4 4 4 0 4 4 4 0 4 0 
0 4 4 4 4 4 4

> ref.data[[4]]@data$CLASS_ID
  [1] 0 4 4 4 4 4 4 4 4 4 4 4 4 4 0 4 4 4 4 4 4 4 4 4 4 4 4 4 4 4 4 4 4 4 4 4 
4 4 4 4 4 4 4 4 4 4 4 4 4 4 4 4 4 4 4 4 4 4 4 4 4 4 4 4 4 4 4 4 4 4 4
 [72] 4 4 4 4 4 4 4 4 4 4 4 4 4 4 4 4 4 4 4 4 4 4 4 4 4 4 4 4 4 4 4 4 4 4 4 4 
4 4 4 4 4 4 4

> confusionMatrix(data = mask.vals[[4]], reference = ref.data[[4]]@data$CLASS_ID)

Error in confusionMatrix.default(data = mask.vals[[4]], reference = ref.data[[4]]@data$CLASS_ID) : 
  the data cannot have more levels than the reference

即。需要离开这个：

> table(mask.vals[[4]], ref.data[[4]]@data$CLASS_ID)
        0  4          
   0    2  67              
   2    0  9
   4    0  36

到此：

        0  2  4          
   0    2  0  67              
   2    0  0  9
   4    0  0  36

即使我为数据定义了三个级别（例如levels(ref.data[[4]]@data$CLASS_ID) <- c("0","2","4")或factor(ref.data[[4]]@data$CLASS_ID, levels = c("0","2","4")），此错误仍然存在...

Answer 1

caret confusionMatrix函数返回一个n x n表，无论参考和/或预测向量中是否存在某些级别。我想知道你是如何设法得到一些混淆矩阵，其中缺少一些参考数据列。例如，使用内置的iris数据框：

library(caret)

set.seed(2)
dat = data.frame(ref=iris$Species, pred=sample(iris$Species))

# Remove two levels from the reference data
dat1 = dat[dat$ref=="setosa", ]

# Get the confusion matrix
cm1 = confusionMatrix(dat1$pred, dat1$ref)

cm1$table

            Reference
Prediction   setosa versicolor virginica
  setosa         15          0         0
  versicolor     15          0         0
  virginica      20          0         0

# No overlap between reference and prediction
dat2 = dat[dat$ref=="setosa" & dat$pred=="versicolor", ]

# Get the confusion matrix
cm2 = confusionMatrix(dat2$pred, dat2$ref)

cm2$table

            Reference
Prediction   setosa versicolor virginica
  setosa          0          0         0
  versicolor     15          0         0
  virginica       0          0         0

在上面的示例中，ref和pred列都被编码为具有原始三级Species的因子。我们可以重新编码它们以降低空白级别：

dat2$ref = droplevels(dat2$ref)
dat2$pred = droplevels(dat2$pred)

您可以看到每列中只有一个因子级别：

lapply(dat2, levels)

$ref [1] "setosa"

$pred [1] "versicolor"

但是如果你运行confusionMatrix它现在会抛出错误，因为两个向量的级别之间没有重叠：

cm3 = confusionMatrix(dat2$pred, dat2$ref)

confusionMatrix.default（dat2 $ pred，dat2 $ ref）中的错误：数据必须包含与引用重叠的某些级别。

更新：如果您在参考向量和预测向量中设置相同的因子级别，confusionMatrix将起作用。您已更新了问题，但它仍然无法重现，因此很难确定工作流程中出现问题的位置。现在，这里的示例与您在问题中显示的内容类似，并且在设置公共因子级别后按预期工作。

library(caret)

set.seed(2)
mask.vals = sample(c(0,2,4), 100, replace=TRUE)
ref.data = rep(4,100)

cm = confusionMatrix(mask.vals, ref.data)

Error in confusionMatrix.default(mask.vals, ref.data) : 
  the data cannot have more levels than the reference

mask.vals = factor(mask.vals, levels=c(0,2,4))
ref.data = factor(ref.data, levels=c(0,2,4))

cm = confusionMatrix(mask.vals, ref.data) 

cm$table

          Reference
Prediction  0  2  4
         0  0  0 35
         2  0  0 31
         4  0  0 34

R - 混淆矩阵

1 个答案: