如何训练测试拆分和交叉验证

Question

我仍然对数据验证工作流程感到困惑。据我了解，当我获得数据集时，我使用train_test_split将数据分为训练集和测试集两部分。然后，我在训练集上执行cross_val_score或cross_val_predict以进行模型选择和超参数调整。然后，我在测试集中执行所选模型，以查看模型性能。我理解正确吗？或者我可以在不使用cross_val_score

的情况下对整个数据集执行cross_val_predict和train_test_split

Answer 1

是的，您可以使用cross_val_score / cross_val_predict进行模型选择和参数调整。它还可以让您选择要用来判断模型的指标。因此，您基本上可以在交叉验证结果之后选择模型和参数，并查看其是否能很好地与测试数据和实际数据进行概括。