Question

假设我有一个火车数据集。我把它分成训练/测试。对于训练，我使用标准缩放器对训练数据进行 fit.transform 并在测试数据上进行转换。然后，我训练一个模型并保存它。

train.py：

data = pd.read_csv("train.csv")
X = data["X"]
y = data["y"]
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.3)

scale = StandardScaler()
X_train_s = scale.fit_transform(X_train)
X_test_s = scale.transform(X_test)

model.fit(X_train_s, y_train)
y_pred = model.predcit(X_test_s)

# save model
joblib.dump(model, filename)

现在，我在另一个脚本中加载模型，并且我有另一个仅用于预测的数据集。问题是当我没有训练数据集时如何缩放预测数据集。在预测数据集上进行 fit.transform 如下是否正确？

prediction.py

data = pd.read_csv("prediction.csv")
X = data["X"]
y = data["y"]

scale = StandardScaler()
X_predict_s = scale.fit_transform(X)

loaded_model = joblib.load(filename)
y_pred = loaded_model(X_predict_s)

或者我必须将训练数据加载到 prediction.py 并使用它来 fit.transform scaler。

Answer 1

我喜欢使用 pickle，但同样的逻辑也适用于 joblib。

本质上，您必须转储缩放器并将其加载到新脚本中，就像您对 model 和 loaded_model 所做的一样。

在您训练模型的脚本中：

from pickle import dump

# save model
dump(model, open('model.pkl', 'wb'))
# save scaler
dump(scale, open('scale.pkl', 'wb'))

在加载模型的脚本中：

from pickle import load

# load model
loaded_model = load(model, open('model.pkl', 'rb'))
# load scaler
loaded_scale = load(scale, open('scale.pkl', 'rb'))

现在您必须使用 loaded_scale 转换数据并使用 loaded_model 预测缩放数据。

当我们加载预训练模型而我们没有训练数据集时，如何缩放预测数据？

1 个答案: