基于复杂性添加图层的神经网络架构？

Question

我正在寻找基于训练数据的需求或复杂性/可变性而增长的神经网络架构的现有工作。我发现的一些架构包括自组织地图和不断增长的神经气体。这些是唯一的吗？

我搜索的内容最好通过一个简单的场景来说明; 如果训练数据只有几个模式，那么神经网络将是2-3层深，每层中有一小组节点。如果训练数据更复杂，那么我们会看到更深层次的网络。

这些工作在AI文献中似乎很少见或不存在。是因为表现比较弱吗？我很感激任何指导。

Answer 1

这方面的一个例子叫做神经进化。您可以做的是将backprop与evolution结合起来，为您的数据集找到最佳结构。 Neataptic是提供神经进化的NN库之一。通过一些简单的编码，您可以将其转换为backprop + evolution。

这样做的缺点是它需要更多的计算能力，因为它需要遗传算法来运行整个群体。因此，使用神经进化确实会使性能变得微弱。

但是，我认为有更多技术禁用某些节点，如果对输出没有负面影响，它们将被删除。我不确定。