这是xgb和梯度增强的理论问题。如何找出max_depth和num_rounds或n_estimators的最佳平衡点。显然，更多的max_depth会创建复杂的模型，不建议在增强中使用，但数百轮的增强也会导致过度拟合训练数据。假设CV给出了max_depth 5和num_rounds 1000与max_depth 15和num_rounds 100相同的mean / std - 我在发布未知数据模型时应该使用哪一个？
答案 0 :(得分：2)
理论上，人们可以为这些模型提供泛化界限，但问题是 - 它们非常松散。因此，具有较小的上限并不能确保更好的分数。在实践中，最好的方法是使您的泛化估计更可靠 - 您使用10-CV？使用10x10 CV（10次随机随机播放10CV），如果仍然没有给出答案，请使用100.在某些时候，您将获得胜利者。此外，如果您实际上要将模型转发给公众，那么期望值可能不是最佳指标吗？ CV通常会报告平均值（预期值） - 所以不要只看这个 - 看看获得的整个结果谱。具有相同平均值和不同标准的两个值清楚地显示了要选择的内容。当手段和标准相同时，您可以查看分数的最小值（这将捕获“最坏情况”情景）等。
总结：仔细观察分数，而不仅仅是平均分数 - 并多次重复评估以使其可靠。