Tensorflow Estimator过度拟合的自修复训练

Question

我在tensorflows estimator api上有一些学习经验。使用tensorflow的tf.contrib.learn.DNNClassifier在一个小数据集上做一些分类任务（我知道有tf.estimator.DNNClassifier但我必须处理tensorflow 1.2）我在我的测试数据集上得到了accuracy graph。我想知道为什么会有这些负面的高峰。 我认为他们可能因为过度拟合和自我修复而发生。峰值后的下一个数据点似乎与之前的点具有相同的值。

我试着查看代码，找到估算器的列车功能有这样一种机制但没有找到任何机制的证据。

那么，是否存在这样的机制或是否有其他可能的解释？

Answer 1

我不认为Estimator的列车功能有任何这样的机制。

一些可能的理论：

• 您的训练是否随时重启？如果您的模型中有一些估计移动平均线（EMA），则可能在重新启动时必须重新计算移动平均线。
• 您的输入数据是否随机化？如果没有，可能会将一块输入数据全部错误分类，并且EMA可能会再次平滑。

这对我来说非常神秘。如果您确实知道真正的问题，请分享！