Question

我一直在努力理解为什么两个相似的Kfold-cross验证会导致两个不同的平均值。

当我使用手动KFold方法（使用Tensorflow和Keras）

cvscores = []
kfold = StratifiedKFold(n_splits=10, shuffle=True, random_state=3)
for train, test in kfold.split(X, y):
  model = create_baseline()
  model.fit(X[train], y[train], epochs=50, batch_size=32, verbose=0)
  scores = model.evaluate(X[test], y[test], verbose=0)
  #print("%s: %.2f%%" % (model.metrics_names[1], scores[1]*100))
  cvscores.append(scores[1] * 100)

print("%.2f%% (+/- %.2f%%)" % (np.mean(cvscores), np.std(cvscores)))

我明白了

65.89% (+/- 3.77%)

当我使用scikit中的KerasClassifier包装器

estimator = KerasClassifier(build_fn=create_baseline, epochs=50, batch_size=32, verbose=0)
kfold = StratifiedKFold(n_splits=10,shuffle=True, random_state=3)
results = cross_val_score(estimator, X, y, cv=kfold, scoring='accuracy')
print("Baseline: %.2f%% (%.2f%%)" % (results.mean()*100, results.std()*100))

我明白了

63.82% (5.37%)

此外，在使用KerasClassifier时，还会出现以下警告

WARNING:tensorflow:From /usr/local/lib/python3.6/dist-packages/tensorflow/python/keras/wrappers/scikit_learn.py:241: Sequential.predict_classes (from tensorflow.python.keras.engine.sequential) is deprecated and will be removed after 2021-01-01.
Instructions for updating:
Please use instead:* `np.argmax(model.predict(x), axis=-1)`,   if your model does multi-class classification   (e.g. if it uses a `softmax` last-layer activation).* `(model.predict(x) > 0.5).astype("int32")`,   if your model does binary classification   (e.g. if it uses a `sigmoid` last-layer activation).

由于KerasClassifier使用 predict_classes（）而手动Tensorflow / Keras方法仅使用 predict（），结果是否有所不同？如果是这样，哪种方法更合理？

我的模特看起来像这样

def create_baseline():
model = tf.keras.models.Sequential()
model.add(Dense(8, activation='relu', input_shape=(12,)))
model.add(Dense(1, activation='sigmoid'))

model.compile(loss='binary_crossentropy', optimizer='adam', metrics=['accuracy'])
return model

Answer 1

这两个CV结果看起来并没有太大差异，它们都在彼此的标准差之内。

您为StratifiedKFold类固定了种子，这很好。但是，您应该控制其他随机性，这是权重初始化引起的。确保为每个具有不同权重的CV运行初始化模型，但对交叉验证（手动和自动）使用相同的10个初始化。您可以将initializer传递给每一层，它们也有一个seed参数。通常，您应该修复所有可能的种子（np.random.seed(3)，tf.set_random_seed(3)）。

如果您两次运行cross_val_score()或手动版本会怎样？您得到相同的结果/数字吗？

使用手动KFold交叉验证与KerasClassifier-KFold交叉验证时的结果不同

1 个答案: