Tensorboard如何解释零值的一小部分？

Question

我正在运行一个云ML引擎作业，我的张量图显示了隐藏层的零值的一小部分，随着步数的增加，逐渐增加到1。该情节应如何解释？我相信这是一件好事，因为更多的零价值会表明模型越来越多，并且确定了＃34;关于它正在做出的预测。

Answer 1

这通常意味着您的正则化技术和/或激活函数强制激活为零。您还没有共享模型的详细信息，但这在使用dropout时很常见，尤其是使用relu激活函数时。

具有大量零激活的模型倾向于更好地推广，从而提供更好的准确性。

如果您想了解更多详情，请点击JMLR paper on dropout。

我必须注意，激活变为零有时是坏的，至少对于ReLU激活功能而言。基本上，他们可以不可避免地“死”。因此，如果你看到糟糕的模型质量要小心。更多信息here。