变量共享张量流

Question

背景

在浏览tensorflow的文档时，我遇到了Variable Sharing上的卷积神经网络示例。这些示例通过描述两个图像暴露于图像过滤器的问题来激发变量共享的需要。想要重用变量。

问题

我无法理解这种方法。如果不引入变量共享的概念，我们不能将所有图像放在矩阵中（以像素值的形式，每行表示一个新图像）并执行必要的操作比如使用单组变量对整个矩阵进行过滤。我建议的方法类似于我们在vanilla神经网络中使用的方法。我们不使用为每个训练样例重用变量的概念，而是将它们以矩阵的形式叠加起来并且所有训练样例都有一个共同的权重矩阵来执行必要的操作。

有人能指出我在两种方法之间建立一致性的错误吗？

Answer 1

在前向传递中，您无法区分共享变量和两个相同的变量。但在训练中，落后传球是不同的。如果您有两个相同的变量，那么您将进行两次调整，而这些调整通常不会相同，因此这两个变量会发生分歧。如果您有一个共享变量，则只需进行一次调整。