张量板：为什么在梯度图上有锯齿形图案？

Question

这是conv2d层（内核）的渐变的图片。我想了解它的锯齿形图案。我了解的是，梯度从小批量变为小批量。但是为什么每批之后它增加呢？

我正在使用默认设置的Keras Adam优化器。我不认为这是原因。辍学和批量规范。也不应该是原因。我正在使用图像增强，但不会在批次之间更改其行为。

有人有主意吗？

Answer 1

我以前已经通过keras度量标准看到了这一点。

在那种情况下，问题在于指标在每个时期都保持运行平均值，并且是“到目前为止的平均值”，它们才向TensorBoard报告。

这些毕业生如何进入TensorBoard？您是将它们传递给tf.keras.metrics.Mean吗？如果是这样，您可能要在其上调用“ reset_states”。也许在custom callback的on_batch_end中。