CIFAR-10上神经网络可能的最低训练误差

时间:2017-08-12 08:43:36

标签: machine-learning neural-network

美好的一天! (或者晚上)

对于CIFAR-10数据集上的完全连接神经网络的训练集(对于<30隐藏层),误分类错误有多低?

是否有可能达到0.001或0?

你能告诉我你的经历吗?

P.S。我想训练NN从过度拟合开始,然后调整参数以获得更好的概括......

1 个答案:

答案 0 :(得分:1)

由于您没有对隐藏层的宽度指定任何限制,答案很简单 - 0.浅层单隐藏层神经网络(给定足够的隐藏单位)可以实现0训练任何有限数据集的错误(就错误分类而言)(只要没有两个样本具有不同的标签)。这直接来自UAT(通用近似定理,来自Cybenko)。你在实践中遇到的事情当然会有所不同,但一般来说你可以在Cifar10上获得100%的训练准确度。