神经网络训练模型会对验证数据产生不一致的结果

Question

我正在学习神经网络。

我有一个脚本，它接收一些数据并通过神经网络创建模型。当我针对验证数据集测试模型时，我得到了一些结果。如果我再次针对相同的验证集重新测试它，我会不断得到不同的结果。

这是预期的行为还是我可能做错了什么？

无论其价值如何，我都使用带有this library的Node v7.10.0。

Answer 1

神经网络通常采用小批量梯度下降进行训练，其中随机选择一小批训练样本来执行梯度下降步骤。这为训练增加了一些随机性。

此外，神经网络的权重和偏差通常是随机初始化的（在您的代码中，它是在以下行中完成的：https://github.com/harthur/brain/blob/master/lib/neuralnetwork.js#L36和https://github.com/harthur/brain/blob/master/lib/neuralnetwork.js#L42），这也为训练增加了一些随机性。 / p>

为了确定随机性，我们通常使用种子（cf What is a seed in terms of generating a random number?）。不幸的是，无法为javascript随机数生成器设置种子（cf Seeding the random number generator in Javascript），但似乎可以创建自己的随机数生成器。

最后得到不同的结果是正常的，但这些结果与你获得的第一个结果不应太大。