为什么每步时间随着时代的增加而不断减少？

Question

在训练深度学习模型时，随着时代的增加，完成一个步骤所花费的时间在不断减少。是什么原因使数据相同而提高了效率？

为什么在第一个时期，它比其他时期大？相同的任何答案或参考都将是有意义的。

这是我的训练模型屏幕截图：

您可以看到时间/步长减少为3s /步长，810ms /步长，722ms /步长，依此类推。

Answer 1

部分答案：

由于各种初始化开销，第一个纪元较慢：整个模型初始化为选定的值或分布，实例化模型层，等等。

以后的某个时期可能由于各种原因而加速。在我的工作中，最常见的是，各种算法分析仪正在学习模型的数据+流控制，并正在调整流以提高性能。

这可能涉及输入摄取（缓存），操作短路，切换到稀疏矩阵计算（内核权重“摇晃”以拥有0.0元素的多数）等。

但是，如果没有适当的例子来准确地再现效果，也没有尝试描述执行情况，那么这些想法只是猜测。

Answer 2

这是非常具体的情况，不能一概而论。花费的时间是可变的，它取决于各种外部因素以及运行过程中的内存可用性，输入大小等。