何时将数据拆分为训练和测试数据集

Question

在创建机器学习模型时，我的同伴告诉我，拆分应该在机器学习模型构建阶段，尤其是在对数据进行标准化或缩放之前，尽早进行。我对机器学习非常陌生，因此一直在寻找一些建议。

这就是我正在做的

standardized_X = preprocessing.scale(x_data) 

X_train_std, X_test_std, y_train_std, y_test_std = train_test_split(standardized_X, df_breast.CLASS.values, test_size=0.3, random_state=0)

我被告知该序列应为

X_train_std, X_test_std, y_train_std, y_test_std = train_test_split(standardized_X, df_breast.CLASS.values, test_size=0.3, random_state=0)

standardized_X = preprocessing.scale(x_data)

此外，请提供合理的理由。

Answer 1

首先，训练集和测试集都应该是总体（联合集）的良好代表。在许多情况下，情况可能并非如此。

定标基本上是通过使用样本的平均值和标准偏差来标准化数据。通常，所使用的公式称为z分数缩放[（x平均值）/（标准偏差）]。

最好先将数据分为训练和测试集，然后使用它们各自的平均值和标准差将标准化应用于每个集。如果事先对整个数据集进行标准化，则稍后将它们分为两个不同的集合时，您的模型可能会有偏差。如果您针对各自的中心对两个不同的样本进行了标准化，则可以更好地评估模型的准确性，并且可以更有信心地将模型扩展到实际输入。