根据我对卷积神经网络的了解,你必须在每个时代提供相同的训练样例,但是洗牌(因此网络在训练时不会记住某些特定的顺序)。
然而,在this文章中,他们每个时代都在为网络提供64000个随机样本(所以只有一些培训示例是"见过"前):
每个训练实例是一组3个图像的均匀采样,2个 它们具有相同的类别(x和x +),以及a的第三个(x-) 不同的阶级。每个训练时期由640000个这样组成 实例(随机选择每个纪元),固定集64000 用于测试的实例。
那么,每个时代我都必须使用相同的训练样例,为什么?
当我使用随机样本时,实验结果很差 - 准确性差异很大。但我想知道原因。
答案 0 :(得分:1)
大多数情况下,您可能希望尽可能多地使用数据。然而,在本文中,你引用他们训练三重损失,使用三倍的图像,并且可能有数十亿这样的三元组。
你可能想知道,如果我们每次都可能获得不同的训练集,为什么要首先介绍时代的概念。答案是技术性的:我们想偶尔评估一下验证数据的网络,你也可能希望根据已完成的时期数来进行学习率衰减。