如何表示多层感知神经网络的系数？

Question

出于学习目的，我试图使用以下简单的多层感知器（MLP）神经网络进行编码：

在输入层中
• 2500个输入
• 隐藏层＃1和＃2中的100个神经元，
• 在输出层中有10个输出

和反向传播，无需使用tensorflow或此类现成的工具。

隐藏层＃1中的每个神经元必须连接到2500个输入，并需要存储2500个系数。同样适用于所有层的所有神经元。

问题：通常使用哪种数据结构来存储从n-1层神经元到n层特定神经元的所有系数？

是否存在可以存储整个MLP的所有这些系数的独特数据结构（例如，在Numpy中）？

这样的事情是否必须使用张量（n个暗数组）？

Answer 1

神经网络通常只是一系列矩阵乘法和非线性变换。因此，n维数组是自然存储方法。根据应用程序的不同，您可以使用稀疏矩阵来存储系数和这些系数的下标。但总的来说，存储只是矩阵。

在像tensorflow这样的库中，一个很好的高峰是查看/实现neural network in numpy。