Keras培训陷入LSTM

Question

我正在尝试在Keras中运行LSTM模型，但被困在训练部分。

对于每个时期，模型将步数训练到49x / 500大约需要3-4秒，然后模型将被卡住。在大约7xx秒后，训练将恢复并完成剩余的几个步骤，并完成一个纪元。

然后它再次循环，训练非常快，然后冻结。

可能的原因是什么？

我运行的代码是Francois Chollet撰写的《用Python进行深度学习》一书中的编码示例P.213。如果代码/我的硬件有问题，每个时期的训练过程应该一直很慢吗？现在它在开始时训练非常快，但是在每个时期都被卡住了。

我尝试过更新GPU驱动程序，conda update --all，分配另一个GPU来运行模型（我有2个GPU）。

我确定我的GPU很好，因为我在运行其他模型时没有问题。

Answer 1

这很正常，在每个时期结束时，Keras将使用您的验证数据来计算验证损失和指标，这当然会花费时间，也许您的验证集会比您的训练集更大？

看起来好像死机了，但确实是在验证集上计算的，没什么好担心的。