MxNet：经过一些迭代后，准确度下降到随机预测

Question

当我训练CNN对失真数字从0到9变化的图像进行分类时，训练集和测试集的准确性明显提高。

Epoch[0] Batch [100] Train-multi-accuracy_0=0.296000
...
Epoch[0] Batch [500] Train-multi-accuracy_0=0.881900

在Epoch [1]和Epoch [2]中，准确度在0.85和0.95之间略微振荡，然而，

Epoch[3] Batch [300] Train-multi-accuracy_0=0.926400
Epoch[3] Batch [400] Train-multi-accuracy_0=0.105300
Epoch[3] Batch [500] Train-multi-accuracy_0=0.098200

此后，准确率约为0.1，这意味着网络只提供随机预测。 我多次重复训练，每次都会发生这种情况。它出什么问题了？ 适应性学习率策略是原因吗？

model = mx.model.FeedForward(...,
                             optimizer = 'adam',
                             num_epoch = 50,
                             wd = 0.00001,
                             ...,
                             )

Answer 1

您正在训练的模型究竟是什么？如果您正在使用mnist数据集，通常使用sgd训练的简单2层MLP可以提供相当高的准确度。