具有随机连接的神经网络是否仍能正常工作？

Question

假设我们有一个具有n层的神经网络，其中连接不是简单地从层i到层i + 1，而是可以从任何层i到达任何层k，使得k> 1。一世。例如;从第1层直接连接到第3层，或第2层直接连接到第n层等......

鉴于每个层都有一个任意的训练函数和一些选择的激活函数，这样的神经网络是否仍能正常工作？

Answer 1

我认为简短的答案是肯定的，但是，与神经网络一样，这取决于你的问题。

您在问题中描述的架构类型称为＆＃34;跳过层＆＃34;模型。有关跳过层连接的简要讨论，您可能需要检查这些在线资源：

https://stats.stackexchange.com/questions/56950/neural-network-with-skip-layer-connections

http://www.iro.umontreal.ca/~bengioy/ift6266/H12/html.old/mlp_en.html

https://www.google.com/search?q=skip+layer+neural+network

总结：跳过图层连接可以正常工作，但它们的工作情况在很大程度上取决于您的问题，以及如何构建和优化网络模型的其余部分。

Answer 2

对于（任何）NN，你得到的是链式激活函数的组合。

只要所有连接的权重为您提供良好的分类结果，您跳过某些图层就无所谓了。

从数学角度来说，你仍然可以使用链式规则来进行反向传播，我认为与逐层反向传播相比它不那么干净。

我看到的唯一问题是跳过太多层，你的模型可能不够复杂，无法捕捉输入和输出之间的关系，这对NN来说通常不是问题。