绘制权重与神经网络的迭代

Question

我想构建一个深度学习可视化工具。

但我坚持权重与迭代的关系。通常，我想这样做：mean magnitude weights vs iteration。

此照片来自本网站visualization tool。 如果我理解得好，文件说这是权重平均值的对数。

那么，对于我的神经网络的每一层，我都会有一条曲线？ 但我不确定计算一条曲线的一个点的公式是：mean magnitude formula。

其中w1，w2，... wn是给定指定迭代的一层的权重。

感谢您的帮助！

Answer 1

是的，每一层都有自己的曲线。在构建深度学习可视化工具时，可能需要认识到的重点是为什么有人想要将平均权重与迭代进行可视化。

答案是：看模型是否过度拟合。模型的每一层都会收敛（希望，不能保证）到某个固定点的幅度。每层的大小将根据层的类型，模型的大小等而不同。因此，仅在每层的基础上查看平均大小是有趣的。如果一个层（特别是最后一个）的大小开始变大，那么网络可能会过度拟合其训练数据。

要回答关于公式的问题，目标是找到该层中每个重量的平均（平均）重量。所以，是的，总结一个图层的权重，除以该图层中的权重数量，并可能记录该图表的日志以使比例更容易阅读（尽管最后一个设计决策比数学决策更多，如果有什么我们会认为权重是高斯分布，自然日志比基数10更有意义。