Question

我有一组患者，分为训练和验证组。我想评估几个参数的性能，以分层整体生存。因此，我使用pec包（https://cran.r-project.org/web/packages/pec/pec.pdf）来生成预测误差曲线和积分brier分数（IBS）。我的问题是，与Model_2或参考模型相比，是否有办法确定Model_1的IBS是否显着降低？

感谢您的帮助！

models <- list("Model_1" = coxph(Surv(OS, OS_event)~ var_1+var_2, data=df_train),
               "Model_2" = coxph(Surv(OS, OS_event) ~ var_3+var_4, data=df_train))


brier <- pec(object=models,
             data=df_validate,
             formula=Surv(OS, OS_event)~age,
             exact=TRUE,
             cens.model="marginal",
             traindata = df_train)
plot(brier)
print(brier)

Answer 1

一种方法是多次运行交叉验证，然后使用t检验或wilcox检验（非参数版本）来确定模型1和模型2的IBS之间是否存在统计学上的显着差异。 P值拒绝零假设，即模型1和模型2的平均IBS得分相等。

假设IBS分数存储在名为TEALL的数据框中，其中第1列是模型1的分数，第2列是模型2的分数。每行代表另一个交叉验证。然后：

ttest = t.test(TEALL[,1], TEALL[,2], paired=TRUE)
wtest = wilcox.test(TEALL[,1], TEALL[,2],paired=TRUE)

预测误差曲线 - Brier分数

1 个答案: