Geoffrey Hinton的Capsule Networks如何运作？

Question

上周，杰弗里·辛顿和他的团队发表了papers，介绍了一种基于胶囊的全新神经网络。但我仍然不了解工作的架构和机制。有人能用简单的词语解释它是如何运作的吗？

Answer 1

卷积神经网络的一个主要优点是它们对翻译的不变性。然而，这种不变性带来了价格，也就是说，它没有考虑不同的特征如何相互关联。例如，如果我们有一张脸的图片，CNN将难以区分嘴部特征和鼻子特征之间的关系。最大池化层是此效果的主要原因。因为当我们使用最大池化层时，我们会失去口腔和噪声的精确位置，我们无法说明它们是如何相互关联的。

胶囊试图保持CNN的优势并以两种方式解决这个缺点;

1. 不变性：引用此paper

  

当胶囊工作正常时，视觉概率   存在的实体是局部不变的 - 它不会改变   实体移动在可能的外观内   胶囊覆盖的有限域。

换句话说，胶囊考虑到我们正在寻找的特定特征的存在，如嘴或鼻子。此属性可确保胶囊的翻译不变，与CNN相同。

1. 等值：不是使特征翻译不变性，而是使其变为等变或视点等变。换句话说，当特征移动并改变其在图像中的位置时，特征向量表示也将以使其等变的相同方式改变。胶囊的这个属性试图解决我在开始时提到的最大池层的缺点。

Answer 2

通常，CNN的特征空间表示为标量，其不代表信息的准确位置特征。此外，CNN中的合并策略消除了在区域内使用重要的红色特征，从而突出了区域的给定重要特征。胶囊网络旨在通过考虑特征的矢量表示来缓解这些问题，这些特征可以通过动态路由策略有效地映射子代与父母之间的关系，从而捕获特征表示的位置上下文。

Answer 3

简单来说，典型的网络使用缩放器权重作为神经元之间的连接。在胶囊网络中，权重是矩阵，因为有更高维度的胶囊而不是神经元。