MXNet-Caret培训和优化

Question

我正在RStudio中使用MXNet库来训练神经网络模型。

使用插入符号训练模型时，我可以调整“动量”参数。这与随机梯度下降优化器有关吗？

我知道这是使用“ mx.model.FeedForward.create”进行训练时的默认优化器，但是当我使用caret ::: train ??会发生什么？

Answer 1

动量与SGD相关，并控制算法改变下降方向的倾向性。有几个公式可以做到这一点，请在此处详细了解：https://towardsdatascience.com/stochastic-gradient-descent-with-momentum-a84097641a5d

Caret包假设是通用的，因此它可以与MXNet一起使用。调用cret::train时，它可以接受method参数。它应从插入符软件包的存储库中获取，插入符软件包目前支持MXNet。参见以下示例：https://github.com/topepo/caret/issues/887（来自Adam）或https://github.com/topepo/caret/blob/master/RegressionTests/Code/mxnet.R（用于常规SGD）。