Question

我正在尝试使用conv3d训练我的神经网络进行图像分类。训练时我发现初始损失超过2。所以我想知道如何减少初始损失？

这是我的型号代码：

uni_links

我使用30作为批次大小，而使用adam优化程序的图像尺寸为120 * 90。

Answer 1

您的模型的第一层很难检测基本特征，因为第一层只有2个卷积内核，这不是一个好主意。还是使用0.25作为辍学率并不是很常见。（更常用的是0.5到0.7之间的值。）

Answer 2

在第一次迭代中损失非常高的主要原因是由于权重和偏差初始化。损耗是在每次前进后计算的，而前进是输入，重量，偏差和非线性的函数。

因此，您网络中唯一的非线性是在输出层中。我怀疑这是由于权重和偏差初始化造成的。