随着模型尺寸的增加，Tensorflow计算时间下降

Question

在运行我的实验时，我发现使用支持GPU的tensorflow会导致计算时间出现奇怪的下降。每次迭代（1000个学习步骤），模型大小增加200个隐藏神经元（简单完全连接nn与一个隐藏层）。现在我测量了每次迭代所花费的时间，并注意到该算法的不同版本在同一位置下降。因此，这可能与机器上的某些外部事件无关，因为实验是连续运行的。达到一定的模型尺寸后，是否存在张量流可以利用的东西？ Plotted Time w.r.t iterations

Answer 1

如果你正在使用稀疏矩阵而你正在使用L1正则化器，那么可能在迭代32周围你越过一个阈值，你的L1最终使你的稀疏矩阵稀疏到足以进行矩阵运算优化。

根据文档tensorflow.org/api_docs/python/tf/train/AdamOptimizer，Adam使用稀疏矩阵，因此很可能就是这样。使用Momentum Gradient或Vanilla Gradient再次尝试。