如何为tensorflow模型选择优化器？

Question

Tensorflow似乎有大量的优化器，是否有任何高级指南（或评论文章），哪一个最适合特定类别的损失函数？

Answer 1

这取决于您的数据集和NN模型，但一般来说，我会从Adam开始。本文中的图2（http://arxiv.org/abs/1412.6980）显示亚当运作良好。

此外，你可以看到一个非常好的动画 http://www.denizyuret.com/2015/03/alec-radfords-animations-for.html