最佳的神经元和神经层大小，准确性和效率

Question

我正在研究Deep Neural Networks，并对以下问题感到疑惑：

最佳准确度 ，每层最佳层数和神经元数量是多少？

根据这张图片：

最佳数字是否等于特征尺寸，以便考虑每个特征对另一组特征的影响？

另外，如果我们正在寻找 最佳准确度和效率 ，答案会有所不同吗？

谢谢，任何见解都表示赞赏！

编辑：

这些答案内容丰富。我仍然觉得他们没有特别提到我问题的第一部分。澄清：是否有最大量的神经元和层在应用时对数据同样精细，因此添加更多神经元或层将是多余的？我假设3个特征数据集的无限层在某些时候变得不必要。再次感谢所有阅读和回复！

Answer 1

您的问题没有一般性答案。这些数量被称为超参数，它们的选择是一个开放的问题，也是机器学习艺术的重要组成部分。 Here是关于Quora主题的讨论。

有关神经网络及其内部工作的良好介绍，请参阅improving the way neural networks learn。

为了获得选择这样的超参数和构建网络架构的直觉，研究已知的成功模型是明智的：

LeNet：Convolutional Networks的首次成功应用是由Yann LeCun在1990年代开发的。其中最着名的是用于读取邮政编码，数字等的LeNet架构。

AlexNet：在计算机视觉中推广卷积网络的第一项工作

GoogleNet：ILSVRC 2014获奖者

研究它们是如何针对所解决问题的细节而设计的。

Answer 2

来自Is there any method for choosing the number of layers and neurons?：

没有直接的方法来找到它们的最佳数量：人们凭经验尝试并看到（例如，使用交叉验证）。最常见的搜索技术是随机搜索，手动搜索和网格搜索。

存在更多高级技术，例如

1）高斯过程。例如：

• Franck Dernoncourt，Ji Young Lee Optimizing Neural Network Hyperparameters with Gaussian Processes for Dialog Act Classification，IEEE SLT 2016。

2）Neuro-evolution。例子：

• Zaremba，Wojciech。 Ilya Sutskever。 Rafal Jozefowicz“An empirical exploration of recurrent network architectures.”（2015）：使用进化计算找到最佳RNN结构。
• Franck Dernoncourt。 “The medial Reticular Formation: a neural substrate for action selection? An evaluation via evolutionary computation.”。硕士论文。 ÉcoleNormale Ulé高级。使用进化计算在ANN中找到连接。
• Bayer，Justin，Daan Wierstra，Julian Togelius和JürgenSchmidhuber。 “Evolving memory cell structures for sequence learning.”在国际人工神经网络会议上，第755-764页。 Springer Berlin Heidelberg，2009：使用进化计算找到最佳RNN结构。

也相关：To design a Multilayer Perceptron, should I use more units per layer and less layers or more layers and less units, which is better?

Answer 3

您的问题没有一般性的答案。但是通过更改这些参数可以达到最佳解决方案。

• 输入数据的格式，
• 图层的数量和大小，
• 空间池的数量，
• 过滤器维度，
• 学习超参数（学习率，动量，批量大小，辍学率） 概率，适用的正规化数量）