Question

我训练了DNN模型，获得了很好的训练精度，但是评估精度却很差。

def DNN_Metrix(shape, dropout):
    model = tf.keras.Sequential()
    print(shape)
    model.add(tf.keras.layers.Flatten(input_shape=shape))
    model.add(tf.keras.layers.Dense(10,activation=tf.nn.relu))
    for i in range(0,2):
        model.add(tf.keras.layers.Dense(10,activation=tf.nn.relu))
    model.add(tf.keras.layers.Dense(8,activation=tf.nn.tanh))
    model.add(tf.keras.layers.Dense(1, activation=tf.nn.sigmoid))
    model.compile(loss='binary_crossentropy',
                      optimizer=tf.keras.optimizers.Adam(),
                      metrics=['accuracy'])
    return model

model_dnn = DNN_Metrix(shape=(28,20,1), dropout=0.1)
model_dnn.fit(
    train_dataset, 
    steps_per_epoch=1000, 
    epochs=10, 
    verbose=2
)

这是我的培训过程和结果：

Epoch 10/10 -55s-损失：0.4763-acc：0.7807

但是当我用测试数据集进行评估时，我得到了：

result = model_dnn.evaluate(np.array(X_test), np.array(y_test), batch_size=len(X_test))

损耗，精度= [0.9485417604446411，0.3649936616420746] 这是一个二进制分类，正标签：负标签是关于 0.37：0.63

我不认为这是过度拟合的结果，训练时有700k实例，形状为28 * 20，我的DNN模型很简单，参数很少。

这是我生成测试数据和训练数据时的代码：

def parse_function(example_proto):
    dics = {
            'feature': tf.FixedLenFeature(shape=(), dtype=tf.string, default_value=None),
            'label': tf.FixedLenFeature(shape=(2), dtype=tf.float32),
            'shape': tf.FixedLenFeature(shape=(2), dtype=tf.int64)
            }
    parsed_example = tf.parse_single_example(example_proto, dics)
    parsed_example['feature'] = tf.decode_raw(parsed_example['feature'], tf.float64)
    parsed_example['feature'] = tf.reshape(parsed_example['feature'], [28,20,1])
    label_t = tf.cast(parsed_example['label'], tf.int32)

    parsed_example['label'] = parsed_example['label'][1]

    return parsed_example['feature'], parsed_example['label']


def read_tfrecord(train_tfrecord):
    dataset = tf.data.TFRecordDataset(train_tfrecord)
    dataset = dataset.map(parse_function)
    dataset = dataset.shuffle(buffer_size=10000)
    dataset = dataset.repeat(100)
    dataset = dataset.batch(670)
    return dataset


def read_tfrecord_test(test_tfrecord):
    dataset = tf.data.TFRecordDataset(test_tfrecord)
    dataset = dataset.map(parse_function)
    return dataset


# tf_record_target = 'train_csv_temp_norm_vx.tfrecords'
train_files = 'train_baseline.tfrecords'
test_files = 'test_baseline.tfrecords'

train_dataset = read_tfrecord(train_files)
test_dataset  = read_tfrecord_test(test_files)


it_test_dts = test_dataset.make_one_shot_iterator()
it_train_dts = train_dataset.make_one_shot_iterator()


X_test = []
y_test = []

el = it_test_dts.get_next()

count = 1 
with tf.Session() as sess:
    while True:
        try:
            x_t, y_t = sess.run(el)
            X_test.append(x_t)
            y_test.append(y_t)
        except tf.errors.OutOfRangeError:
            break

Answer 1

从您在测试集中的数据分布为[37％-63％]并且最终精度为0.365的事实来看，我将首先检查在测试集上预测的标签。

很可能，您的所有预测都是0类，前提是0类占数据集的37％。在这种情况下，这意味着您的神经网络无法在训练集上学习任何东西，并且存在过度拟合的巨大情况。

我建议您始终使用验证集，以便在每个时期结束时检查您的神经网络是否学到了什么。在这种情况下（像您一样），您会很快看到过拟合问题。

Answer 2

训练的准确性并不重要。 NN可以适合任何随机的输入和输出集，即使它们无关。这就是为什么要使用验证数据。

训练后查看损失曲线，这将使您更好地了解问题出在哪里。

NN的默认设置是只猜测在训练数据中针对分类问题看到的最受欢迎的课程。如果您没有正确设置实验，通常会发生这种情况。

由于处理二进制分类，您可能希望查看StratifiedKFold之类的东西，如果坚持％的样本，它将为您提供训练/测试数据的折叠。

训练准确度高，但评估效果不佳

2 个答案: