如何创建R输出就像混淆矩阵表

时间:2015-03-17 09:18:32

标签: r for-loop dataframe plyr dplyr

我有两个目录:

第一个目录的名称是“model”,第二个目录是“test”,两个目录中的文件列表相同但内容不同。两个目录中的文件总数也相同,即37个文件。

我展示了其中一个文件的内容示例。

来自模型目录的第一个文件

名称文件:Model_A5B45

                               data
1  papaya | durian | orange | grapes
2                             orange
3                             grapes
4                    banana | durian
5                             tomato
6                     apple | tomato
7                              apple
8                        mangostine 
9                         strawberry
10                strawberry | mango

输出输出:

structure(list(data = structure(c(7L, 6L, 4L, 3L, 10L, 2L, 1L, 
5L, 8L, 9L), .Label = c("apple", "apple | tomato", "banana | durian", 
"grapes", "mangostine ", "orange", "papaya | durian | orange | grapes", 
"strawberry", "strawberry | mango", "tomato"), class = "factor")), .Names = "data", class = "data.frame", row.names = c(NA, 
-10L))

测试目录中的第二个文件

名称文件:Test_A5B45

                               data
1                             apple
2            orange | apple | mango
3                             apple
4                            banana
5                            grapes
6                            papaya
7                            durian
8 tomato | orange | papaya | durian

输出输出:

structure(list(data = structure(c(1L, 5L, 1L, 2L, 4L, 6L, 3L, 
7L), .Label = c("apple", "banana", "durian", "grapes", "orange | apple | mango", 
"papaya", "tomato | orange | papaya | durian"), class = "factor")), .Names = "data", class = "data.frame", row.names = c(NA, 
-8L))

我想计算目录测试中文件与目录模型中文件的交叉和除数据的百分比。

这是我的代码仅用于两个文件(Model_A5B45和Test_A5B45)的示例。

library(dplyr)

data_test <- read.csv("Test_A5B45")
data_model <- read.csv("Model_A5B45")
intersect <- semi_join(data_test,data_model)
except <- anti_join(data_test,data_model)
except_percentage <- (nrow(except)/nrow(data_test))*100
intersect_percentage <- (nrow(intersect)/nrow(data_test))*100
sprintf("%s/%s",intersect_percentage,except_percentage) 

输出:"37.5/62.5"

我的问题是,我想将代码实现到所有文件(在两个目录中循环),因此输出看起来像混淆矩阵..

示例我的期望输出:

##             y
##              Model_A5B45       Model_A6B46    Model_A7B47
##   Test_A5B45     37.5/62.5          value         value
##   Test_A6B46      value             value         value
##   Test_A7B47      value             value         value

我的回答:

我已经创建了可以处理这些东西的代码,但我仍然不知道如何使输出看起来像混淆矩阵。

这是我的代码:(*我不知道这是否有效,我用于循环)

f_performance_testing <- function(data_model_path, data_test_path){
  library(dplyr)
  data_model <- read.csv(data_model_path, header=TRUE)
  data_test <- read.csv(data_test_path, header=TRUE)
  intersect <- semi_join(data_test,data_model)
  except <- anti_join(data_test,data_model)
  except_percentage <- (nrow(except)/nrow(data_test))*100
  intersect_percentage <- (nrow(intersect)/nrow(data_test))*100

  return(list("intersect"=intersect_percentage,"except"=except_percentage))
}


for (model in model_list){
  for (test in test_list){
    result <- f_performance_testing(model,test)
    intersect_percentage <- round(result$intersect,3)
    except_percentage <- round(result$except,3)
    final_output <- sprintf("intersect : %s | except : %s",intersect_percentage,except_percentage) 
    cat(print(paste(substring(model,57),substring(test,56), final_output,sep=",")),file="outfile.txt",append=TRUE,"\n")
    print("Writing to file.......")
  }
}

输出结果为:

Model_A5B45,Test_A5B45, 37.5/62.5 
Model_A5B45,Test_A6B46, value
Model_A5B45,Test_A7B47, value
Model_A6B46,...... 
Model_A7B47,.....
...............
......
....

是否有人可以帮助我将此输出转换为混淆矩阵表?

1 个答案:

答案 0 :(得分:3)

这不会直接回答您的问题,但希望能够为您提供足够的信息以达到您自己的解决方案。

我建议创建如下函数:

myFun <- function(model, test, datasource) {
  model <- datasource[[model]]
  test <- datasource[[test]]
  paste(rev(mapply(function(x, y) (x/y)*100, 
                   lapply(split(test, test %in% model), length), 
                   length(test))), 
        collapse = "/")
}

此功能将与两列data.frame一起使用,其中列代表&#34; test&#34;的所有组合。和&#34;模型&#34; (当字符data.frame足够时,为什么使用vector结构?)

以下是此类data.frame的示例(其他示例数据位于答案末尾)。

models <- c("model_1", "model_2", "model_3")
tests <- c("test_1", "test_2", "test_3")
A <- expand.grid(models, tests, stringsAsFactors = FALSE)

接下来,创建一个名为list的模型和测试。如果您在使用lapply时已经阅读过您的数据,那么您可能无论如何都可以使用其名称。

dataList <- mget(c(models, tests))

现在,计算相关值。在这里,我们可以使用apply遍历每一行并执行相关计算。

A$value <- apply(A, 1, function(x) myFun(x[1], x[2], dataList))

最后,您reshape来自&#34; long&#34;形成一个广泛的&#34;形式。

reshape(A, direction = "wide", idvar = "Var1", timevar = "Var2")
#      Var1 value.test_1 value.test_2 value.test_3
# 1 model_1        75/25          100        75/25
# 2 model_2        50/50        50/50    62.5/37.5
# 3 model_3    62.5/37.5        50/50    87.5/12.5

这是一些示例数据。请注意,它们是基本的字符向量,而不是data.frame s。

set.seed(1)
sets <- c("A", "A|B", "B", "C", "A|B|C", "A|C", "D", "A|D", "B|C", "B|D")

test_1 <- sample(sets, 8, TRUE)
model_1 <- sample(sets, 10, TRUE)
test_2 <- sample(sets, 8, TRUE)
model_2 <- sample(sets, 10, TRUE)
test_3 <- sample(sets, 8, TRUE)
model_3 <- sample(sets, 10, TRUE)

在现实世界的应用程序中,您可能会执行以下操作:

testList <- lapply(list.files(path = "path/to/test/files"),
                   function(x) read.csv(x, stringsAsFactors = FALSE)$data)
modelList <- lapply(list.files(path = "path/to/model/files"),
                   function(x) read.csv(x, stringsAsFactors = FALSE)$data)
dataList <- c(testList, modelList)

但是,根据您在问题中分享的工作代码(例如,没有文件扩展名的csv文件),这是我的纯粹推测。