使用反向传播和协议路由进行胶囊学习

Question

在胶囊网络中，路由算法如何找到b和反向传播以找到w一起工作？是否为每次反向传播迭代应用了路由？

Answer 1

Capsules引入了一个新的构建块，可用于深度学习，以更好地模拟神经网络内部知识表示内的层次关系。他们背后的直觉非常简单而优雅。 胶囊是一组嵌套的神经层。因此，在常规神经网络中，您将继续添加更多层。在CapsNet中，您可以在单个图层中添加更多图层。或者换句话说，将神经层嵌套在另一个内。胶囊内的神经元的状态捕获图像内的一个实体的上述属性。胶囊输出向量以表示实体的存在。向量的方向表示实体的属性。向量被发送到神经网络中的所有可能的父母。对于每个可能的父母，胶囊可以找到预测向量。基于乘以其自身权重和权重矩阵来计算预测向量。无论哪个父母具有最大的标量预测载体产物，都会增加胶囊键。其余的父母减少了他们的关系。这种通过协议方法的路由优于当前的机制，如max-pooling。基于在较低层中检测到的最强特征的最大池化路线。训练基于与某些标记数据匹配的错误的反向传播而发生。除了动态路由之外，CapsNet还讨论了如何向胶囊添加压缩。压扁是非线性的。因此，不像在CNN中那样在每个图层中添加压缩，而是将压缩添加到嵌套的图层集中。因此，压缩函数将应用于每个胶囊的矢量输出。