深度学习模型输入的最大大小是多少

Question

我有使用完全连接的深度神经网络FC-DNN进行训练和测试的数据；我应该训练的输入数据的大小几乎为3000，第一个隐藏层应最大为4096，第三层为4096，最后输出层应为3000。

我的问题是深度神经网络的大小是否合理且可以接受？深度神经网络的最大合理大小是多少？

Answer 1

没有最大合理大小（对于每层神经元或层数均没有）。在特定的点之后（这实际上取决于您要解决的问题），在应用多个Dense层时，收益递减。实际上，它可能导致过度安装，应避免。同时，在没有剩余连接的情况下，堆叠多个Dense层（使网络超深度）也可能导致梯度问题消失。

您应该手动尝试添加几层，并且仅当您发现网络性能不佳（问题中的准确性较低/其他指标不足）时，才应该添加更多层。

此外，对于最后一层，我认为您的问题不需要3000个神经元。如果是回归，则具有线性激活的一个神经元就足够了。仅当您具有3000个不同的类时才需要3000个神经元（这里我们仅讨论回归和分类）。