我有64 GB的训练数据用于我的GRU网络。我打算分开培训时间，即暂停和恢复培训，因为我使用的是笔记本电脑。我假设使用整个6.5 GB训练我的神经网需要几天的时间，所以，我将暂停训练，然后在其他时间再次恢复。
这是我的问题。如果我将改组批量的训练数据，那么神经网络是否会记住哪些数据已用于训练？
请注意，我使用global_step的{{1}}参数。
非常感谢你！
答案 0 :(得分：1)
我建议你在某个时代保存你的模型，假设你有80个时代，在每个20个字节（20,40,60）保存模型是明智的，但这又取决于你的容量笔记本电脑，原因是在一个时代，您的网络将看到所有的数据集（训练集）。如果您的整个数据集不能在一个时期内处理，我会建议您从整个数据集中随机抽样什么是训练集。改组的整个要点是让网络对整个数据集进行一些概括，通常在批处理或选择训练数据集，或开始一个新的训练时期完成。至于你的主要问题，在训练和恢复时，它绝对可以改变冲洗力。混合批次确保沿着批次而不是一个图像计算渐变