没有卷积的DenseNet？

Question

最近的论文Densely Connected Convolutional Networks https://arxiv.org/abs/1608.06993表明，他们的DenseNet深度学习架构优于最先进的ResNet架构。类似的架构是否有类似的论文/存储库，但没有卷积（RNN /只是密集）？

Answer 1

没有

简单的答案是卷积本身允许通过利用在大多数图像中为真的数据局部来进行正则化。这也是实现更深层网络的关键，这对于更深层次的表示至关重要。

另一个关键原因是，只有输入大小的密集层（通常为224 * 224）会占用大部分GPU内存，因此今天几乎没有机会为这样大小的图像实现密集网络比几层深。也许如果你拥有10倍的GPU内存，你可以尝试将其拉下来......卷积只是更经济。