如何正确调整神经网络的参数？

Question

如何调整神经网络的参数，例如层数，层类型，宽度等？现在，我只是猜测良好的参数。对我来说，这变得非常昂贵和耗时，因为我将调整网络，然后发现它的性能没有比以前的模型好。有没有更好的方法来调整模型以获得良好的测试和验证分数？

Answer 1

完全是击键和拖曳方法。你必须去玩。没有特定的方法可以执行此操作。尝试使用GPU代替CPU来快速计算，例如“ Google Colab” 。我的建议是记下所有可以调整的参数。 例如：

1. Optimizer ：尝试使用其他优化器，例如Adam，SGD，还有很多
2. 学习率：这是一个非常关键的参数，请尝试将其从.0001逐步更改为0.001到0.001。
3. 隐藏层数：尝试增加编号。隐藏层。
4. 尝试使用批量归一化或退出或同时使用两者。
5. 使用正确的丢失功能。
6. 更改批量大小和 Epoch 。

Answer 2

隐藏层，历元，批处理大小：尝试使用其他数字。

优化器：亚当（给出更好的结果），Rmsprop

下降：0.2在大多数情况下效果很好

此外，您还应该尝试使用其他激活函数（例如，可以在隐藏层中使用ReLu，对于输出层，可以将Sigmoid用于二进制类分类，将softmax用于多类分类。