我最近一直在研究机器学习和神经网络，目前我正在努力更好地掌握培训过程在网络生命周期中对网络性能的影响。
我目前的理解是，当给定训练集时，网络调整其偏差和权重变量，使程序更接近正确答案，因为它处理数千个数据点，在每个点学习和调整。 This论文讨论了MNIST数据集的示例，其中可以训练网络在97％的时间内准确地猜测正确的数字，其中数据集被准确地标记为正确。
但是，如果给出的数据集只有80％的准确率或50％的准确度，会发生什么？这种准确度是网络培训后可以达到的准确度的上限吗？是否有一个模型允许人们比给定的数据集更好地训练？
由于缺乏一个更好的例子，如果一个神经网络从初学者国际象棋选手那里学到了，理论上它是否可以训练到一个大师级别？
答案 0 :(得分：2)
简答：检查this paper，讨论基于不可靠标签培训NN，他们深入解释了使用噪音过滤器和其他技术给出一些错误数据的培训网络的方法。他们甚至用MNIST数据集来举例说明。
更长的答案：
但是，如果给出的数据集只有80％的准确率或50％的准确度，会发生什么？
一般来说，我们可以说神经网络类似于回归，从Stuart J. Russell和Peter Norvig（第732页）的（好）书Artificial Intelligence: A Modern Approach 3rd Ed.中提取出来：
并且因为功能 由网络表示的可以是高度非线性组合的，就像嵌套的非线性软件一样 阈值函数 - 我们可以将神经网络视为工具 非线性回归。
因此，如果您为此网络（或回归程序）提供一些数据，它将尝试以最佳方式使用它。也就是说，网络无法知道先验什么是真实世界的标签;它经过培训，能够适应您提供的数据，尝试学习隐藏的模式并适应可能的输入变体。
因此，考虑到这一点并遵循传统方法（不像文章中的那篇），如果您提供NN错误数据，它将学会对那种错误数据进行分类（即，您的训练错误和损失函数可能是好的，但是当你给它真正的标签时，它可能表现最差，因为它被训练来对错误的数据进行分类）。如果您使用类似的错误数据尝试其性能，它肯定会表现很好。
是否有一个模型允许人们训练比给定数据集更好？
参考论文提供了一个模型。虽然如果你不小心的话，要小心，因为在NN中“更好地训练”可能导致Overfitting。
希望这有帮助。
答案 1 :(得分：1)
是 - 从理论上讲，网络可以达到比其输入更高的标准，特别是在输入已知有错误的情况下。除此之外，“委员会培训”很可能超越任何个人会员的准确性。在这种情况下，控制因素是训练集的准确性在“随机猜测”之上多远：如果它接近或差于随机，你就会失败。
一个非常明显的例子就是测验节目“谁想要成为百万富翁”。虽然工作室的观众是对“琐事”和“大奖”感兴趣的“普通人”，但“向观众询问”的生活线有high degree (91%) of accuracy。