我在Tensorflow(Python3.5)中构建了一个神经网络模型。
但是每当我初始化模型并使用相同的训练数据重新训练时,特定输入的输出值总是不同的。这意味着,使用相同参数和数据训练的模型,但以不同方式进行初始化可预测远远不同的结我认为如果我使用相同的参数和数据进行训练,无论初始化如何,权重和偏差都会变得几乎相同。
我更改了隐藏图层的数量,学习率,激活功能和批量大小,但这个问题没有改变。在这种情况下我该怎么办?
我的模特正在使用
25个标准化输入,每个元素的范围为[-1,1]
32个隐藏层(1级)
10个输出层(我希望每个输出值都应该在[-1,1]中,因为我使用了[-1,1]中的奖励进行了训练。)
xavier初始化程序
学习率= 0.00001 (最近我将它从0.001减少到0.00001。)
激活功能的 tanh功能
843,844次训练数据(是否太小了??)
批量大小 32 ,队列大小 256 (随机抽样)