将下采样后的预测概率转换为分类中的实际概率(使用mlr)

时间:2017-07-18 10:44:27

标签: r classification predict mlr

如果在不平衡二进制目标变量的情况下使用欠采样来训练模型,则预测方法在假设平衡数据集的情况下计算概率。如何将这些概率转换为不平衡数据的实际概率?转换参数/函数是在mlr包或其他包中实现的吗?例如:

a <- data.frame(y=factor(sample(0:1, prob = c(0.1,0.9), replace=T, size=100)))
a$x <- as.numeric(a$y)+rnorm(n=100, sd=1)
task <- makeClassifTask(data=a, target="y", positive="0")
learner <- makeLearner("classif.binomial", predict.type="prob")
learner <- makeUndersampleWrapper(learner, usw.rate = 0.1, usw.cl = "1")
model <- train(learner, task, subset = 1:50)
pred <- predict(model, task, subset = 51:100)
head(pred$data)

1 个答案:

答案 0 :(得分:4)

[Dal Pozzolo et al., 2015]提出了一种非常简单但功能强大的方法。

在下采样的情况下,它专门用于解决校准问题(即将分类器的预测概率转换为不平衡情况下的非线性概率)。

您只需使用以下公式更正预测概率p_s:

   p = beta * p_s / ((beta-1) * p_s + 1)

其中beta是欠采样后多数类实例的数量与原始训练集中多数类别实例的比率。

其他方法 已经提出了不特别关注下采样偏差的其他方法。其中最受欢迎的是:

它们都在R

中实现