如何培养深度学习网络

Question

有两件事我不知道怎么办。

1. 我用alexnet训练网络，它无法收敛。并没有过度的过度。然而，当我用lenet训练网络时，它会聚合。那是为什么？
2. 我训练网络解决问题。它融合了，但还不够。 softmax损失不能低于（0.2）。我该怎么处理呢。

Answer 1

1. 无法过度匹配可能是由于缺乏网络容量或代码本身存在错误。你是从头开始训练模型吗？你自己写过模特吗？您是否正在以类似于Imagenet分类的任务开展工作？

2. 在任何模型培训期间都要期待损失的平稳期。但是没有任何学习曲线显示跨越时代的损失，“0.2”的损失是没有意义的。

在不知道您正在使用的确切任务，您正在使用的框架，源代码，学习曲线和/或您采取的任何调试步骤的情况下，没有人能够真正回答您的问题。我建议您回到cs231 lectures（特别是讲座4,5）或Andrew Ng's Coursera课程中的机器学习基础知识，以获得更多基础知识。