我构建了一个障碍模型,然后使用该模型使用predict命令从已知数据点到未知数据点进行预测。有没有办法验证模型和这些预测?我是否必须分两部分,例如使用模型的二项式部分的灵敏度和特异性? 关于如何评估该模型的有效性的任何其他想法?
答案 0 :(得分:0)
为了验证预测模型,我通常信任Cross-Validation。
简而言之:通过交叉验证,您可以仅使用训练数据(具有已知结果的数据)来测量模型的预测性能。因此,您可以获得有关模型如何工作的一般意见。交叉验证适用于各种不同的模型。缺点是它可能会导致计算量很大。
对于大型数据集,10倍交叉验证就足够了。数据集越小,折叠越多"您必须这样做(即使用非常小的数据集,您必须进行一次性交叉验证)
通过交叉验证,您可以获得整个数据集的预测。然后,您可以将这些预测与实际输出进行比较,并衡量模型的执行情况。
交叉验证的结果可能需要在更复杂的比较中理解,但对于您的一般目的问题&#34;如何评估模型的有效性&#34;,结果应该非常容易使用。< / p>