R的Neuronet程序包中使用哪种类型的梯度像样？

Question

据我了解，有不同类型的梯度体面方法可以更新神经网络的权重。

例如，在随机梯度样面中，在评估训练数据集的每个示例的误差后，权重都会更新。

另一方面，批次梯度样例评估了一批训练示例（不止一个）的误差以更新权重。

有人知道R的Neuronet包中实现了哪种方法吗？如果批量梯度合适，那么批量大小是多少？我怎么能控制它？

谢谢

Answer 1

neuralnet默认使用称为resilient backpropagation的算法，这是一种非常特殊的梯度下降算法，因为仅使用符号而不是梯度的大小。或者，在指定参数algorithm时可以使用反向传播。

无论哪种情况，我都认为优化不是分批进行的，或者至少不是您可以控制的。