前馈神经网络的结构是有向无环网络(DAG)。神经网络结构,例如在MLP中,我们通常在实践中看到具有固定结构,其中每层中的节点链接到下一层中的每个节点。
一般的DAG结构何时可能胜过在某种意义上具有可比性的MLP式结构(例如,具有相同重量的MLP)?
这个问题的灵感来自生物学,其中神经通路或细胞信号通路通常具有前馈拓扑,更像是无标度网络,而不是堆叠层网络。我当然不是第一个意识到这一点的人,所以我想知道 - 在哪里可以了解这方面的研究和问题类型?
答案 0 :(得分:0)
您可以轻松想象的一个人为例子是当您的输入包含两个独立且高度复杂的部分(例如来自两个不同来源的连接输入)时,您希望使用这两种信息以获得更好的估计一些输出取决于两个来源。您可能会想到 - 在前几层中,您的网络部分之间不需要连接,这些部分负责在输入的不同部分执行计算,因为它只会添加一些无用的参数,这可能会损害您的培训