Question

我正在尝试通过TensorFlow 2.0 + Keras构建一个二进制分类模型。每个目标都具有5功能，我希望该模型可以预测输入数据是否属于a。

但是，fit()和predict()之间的准确性完全不同。最奇怪的是，我将训练数据提供给模型进行预测，而模型未返回1。

构造训练数据：（a的功能标记为1，其他特征为0）

num_train = 50

data = {  # the content is fake, just for understanding the format
  'a': [(1, 2, 3, 4, 5), (2, 3, 4, 5, 6), ...],
  'b': [(10, 20, 30, 40, 50), (20, 30, 40, 50, 60), ...],
  ...
}

train_x = []
train_y = []

for name, features in data.items():
  for f in features[:num_train]:
    train_x.append(f)
    train_y.append(1 if name == 'a' else 0)

train_x = np.array(train_x)
train_y = np.array(train_y)

模型在这里：

model = Sequential()
model.add(Dense(1, activation='sigmoid', input_dim=5))
model.compile(optimizer='sgd', loss='mse', metrics=['accuracy'])

并致电model.fit()：

model.fit(x=train_x, y=train_y, validation_split=0.2, batch_size=10, epochs=50)

第50个时期之后：

Epoch 50/50
653/653 [==============================] - 0s 80us/sample - loss: 0.0745 - accuracy: 0.9234 - val_loss: 0.0192 - val_accuracy: 1.0000

最后，我使用每个人的前三个样本进行预测：

for name, features in data.items():
  test_x = features[:3]
  print(name, np.around(model.predict(test_x), decimals=2))

输出：

a [[0.14] [0.14] [0.14]]
b [[0.14] [0.13] [0.13]]
c [[0.14] [0.14] [0.13]]
...

完整的数据和源代码已上传到Google云端硬盘，请检查link。

Answer 1

检查源代码后，存在一些实现问题：

训练数据和验证数据由Keras随机分配

在训练过程中，将采样数据的20％作为验证数据，但是您不知道采样的数据是否平衡（即，训练和验证数据中班级的比例相同）。在您的情况下，由于不平衡，采样的训练数据很可能大部分来自类0，因此您的模型没有学到任何有用的信息（因此，所有样本的输出都是相同的0.13）。 / p>

一种更好且更受控制的方法是在训练之前以分层的方式拆分数据：

from sklearn.model_selection import train_test_split

num_train = 50

train_x = []
train_y = []

for name, features in data.items():
    for f in features[:num_train]:
        train_x.append(f)
        train_y.append(1 if name == 'a' else 0)

train_x = np.array(train_x)
train_y = np.array(train_y)

# Split your data, and stratify according to the target label `train_y`
# Set a random_state, so that the train-test split is reproducible

x_train, x_test, y_train, y_test = train_test_split(train_x, train_y, test_size=0.2, stratify=train_y, random_state=123)

在训练期间，您指定validation_data而不使用validation_split：

model = Sequential()
model.add(Dense(1, activation='sigmoid', input_dim=5))
model.compile(optimizer='sgd', loss='binary_crossentropy', metrics=['accuracy'])
model.fit(x=x_train, y=y_train, 
          validation_data=(x_test, y_test), # Use this instead
          class_weight={0:1,1:17},  # See explanation in 2. Imbalanced class
          batch_size=10, epochs=500)

高度失衡的班级-1级班级的学习频率比0级班级低17倍

您的第1类a比第0类小17倍（由剩余部分组成）。如果您不根据类别权重进行调整，则您的模型将所有样本均等对待，并且通过将所有类别简单地分类为0类，将使您的模型具有94.4％的准确性（其余5.6％都是来自1类，并且被错误分类）这个天真的模型）。

要解决阶级失衡问题，一种方法是为少数群体设定更高的损失。在此示例中，我将类别1的类别权重设置为类别0的17倍：

class_weight={0:1,1:17}

通过这样做，您告诉模型错误地预测了类别1的每个样本所产生的罚款是错误分类的类别0的17倍。因此，尽管该模型被迫更加关注类别1，这是少数派。

获得原始预测后不应用阈值。

训练后（请注意，我将epochs增加到500，并且模型在大约200个纪元后收敛了），对先前获得的测试集进行预测：

preds = model.predict(x_test)

您将得到类似这样的内容：

[[0.33624142]
 [0.58196825]
 [0.5549609 ]
 [0.38138568]
 [0.45235538]
 [0.32419187]
 [0.37660158]
 [0.37013668]
 [0.5794893 ]
 [0.5611163 ]
 ......]

这是神经网络的原始输出，其范围为[0,1]，因为最后一个激活层是sigmoid，将其压缩到该范围。为了将其转换为所需的类别预测（类别0或1），需要应用阈值。通常，此阈值设置为0.5，其中输出大于0.5的预测表示样本很可能来自1类，否则输出小于0.5。

因此，您需要使用来限制输出阈值

threshold_output = np.where(preds > 0.5, 1, 0)

您将获得实际的课堂预测：

[[0]
 [1]
 [1]
 [0]
 [0]
 [0]
 [0]
 [0]
 [1]
 [1]
 ...]

获得培训和测试的准确性

现在，要检查培训和测试的准确性，您可以直接使用sklearn.metric，省去了手动计算它们的麻烦：

from sklearn.metrics import accuracy_score

train_preds = np.where(model.predict(x_train) > 0.5, 1, 0)
test_preds = np.where(model.predict(x_test) > 0.5, 1, 0)

train_accuracy = accuracy_score(y_train, train_preds)
test_accuracy = accuracy_score(y_test, test_preds)

print(f'Train Accuracy : {train_accuracy:.4f}')
print(f'Test Accuracy  : {test_accuracy:.4f}')

为您提供：

Train Accuracy : 0.7443
Test Accuracy  : 0.7073

希望这能回答您的问题！

Keras预测准确性与拟合结果不符

1 个答案: