训练逐渐变慢

Question

多次呼叫Model.fit()时，每次呼叫花费的时间越来越长。它可能从150 us / sample开始，然后在30分钟左右，现在是300 us / sample，并且会越来越慢。如果我让它整夜运行，第二天它的速度可能会慢10倍。

在此10个小时的训练图中，您可以看到各点之间的间隔越来越大。

在没有检查点的情况下重新开始的模型之间仍然存在缓慢性，因此并不是在以后的训练中必须做更多的工作。如果我重新启动应用程序，它将重置为快速状态，这不是我的计算机运行缓慢。

在每20次对Model.fit（）的调用中，我会调用tf.keras.backend.clear_session()，这样可以防止内存泄漏，但是对这种“速度泄漏”没有帮助。