如何微调动量优化器的超参数？

Question

在神经网络训练中有几种优化器。但是动量和SGD似乎总是比自适应方法要好。

现在，我正在使用tensorflow编写程序以重现其他程序的结果。他们利用动量训练pylearn2。但是有几个参数：动量因子，体重秤，偏差秤。他们将权重标度指定为辍学层的权重。

训练网络时，我会使用Momentum。但是，结果似乎太难训练了，损失总是很高。当我使用亚当训练时，结果似乎还不错，但结果却比他的0.00X还差。

我想知道如何调整动量优化器。而且我还想知道我的程序无法正常运行的原因。