测试阶段结束后，训练损耗会暂时增加

Question

我在Tensorflow上开发了一个分类模型。 该模型由LSTM和FC组成。 我将批次归一化放在所有FC之后，并在每5000步之后进行测试阶段。 但是，训练损失在测试阶段之后会暂时增加。 请参考下面的损耗图。

我记录了所有的体重直方图，但找不到原因。 与批量归一化有关吗？ 这是优化器的代码部分。

update_ops = tf.get_collection(tf.GraphKeys.UPDATE_OPS)
with tf.control_dependencies(update_ops):
    optimizer = tf.train.AdamOptimizer(learning_rate)
    grads_and_vars = optimizer.compute_gradients(loss)
    training = optimizer.apply_gradients(grads_and_vars, global_step=global_step)

这可能是什么原因？