我收到了来自Weka生成的合作的AUC和预测。统计模型是交叉验证的,因此我的预测数据集包括折叠,预测概率和真实类的列。根据R中预测的概率,我无法复制AUC。值总是略有不同。
其他详情:
- Weka是通过GUI使用的,而不是命令行
- 我用包pROC和ROCR
检查了R中的AUC
- 我首先尝试计算AUC超过收集的预测(不考虑折叠),我得到了不同的AUC
- 然后我尝试计算每次折叠的AUC和平均值。这也不匹配。
- 模型是脊线逻辑回归,预测中存在单一关系
- 第一个折叠比其他折叠有一个样本。我尝试过加权平均值,但这没有用到
- 我甚至测试了logit转换后的AUC平均值(正态性)
- 取中位数而不是平均值也无济于事
我熟悉如何用R计算AUC,但我不知道Weka可以用不同的方式做什么。