带滑动窗口的MLP = TDNN

Question

需要对声明进行一些确认。

这两个是等价的吗？ 1.MLP带滑动时间窗口 2.时延神经网络（TDNN）

任何人都可以在给定的声明中确认吗？可能有参考。感谢

Answer 1

以下是取自Waibel et al 1989 paper的TDNN的描述。 ＆＃34;在我们的TDNN基本单元中，通过引入延迟D1到Dn来修改，如图1所示。现在，这个单元的J输入将乘以几个权重，每个延迟一个＃34;。这是具有滑动窗口的必要MLP（参见图2）。

Answer 2

＆＃34;等效＆＃34;过于概括，但你可以粗略地说，在架构方面（至少关于他们的原始提案 - 有更多的修改，如MS-TDNN，它与MLP更加不同）。正确的措辞是 TDNN是一个扩展的MLP架构 [1]。

两者都使用Backpropagation，两者都是FeedForward网。
主要想法可能是这样的：

  

延迟位于隐藏或输出层的神经元的输入   类似于将图层相乘并有助于图案   缩放和平移，并且接近于整合输入信号   随着时间的推移。

与MLP的不同之处在于：

  

然而，为了处理延迟或缩放的输入信号，   TDNN的原始定义要求所有（延迟）链接   连接到一个输入的神经元是相同的。

然而，这个要求在后来的研究中被推翻，就像在[1]中过去和现在的节点具有不同的权重（这对于许多应用来说显然是合理的），使其等同于MLP。

这些都与架构比较有关。我们来谈谈培训。结果将有所不同：如果您将相同的顺序数据输入到MLP中，那么整个训练将会有所不同，只能从滑动窗口逐个获取当前数据并且如果您输入将当前和过去的数据一起放入TDNN。最大的区别是上下文。使用MLP，您将在过去激活中获得过去输入的背景。使用TDNN，您将在当前激活中将它们直接与您当前的输入相关联。同样，MLP没有时间上下文功能（这就是递归神经网络对于顺序数据更受欢迎的原因）并且TDNN试图解决这个问题。我认为，TDNN基本上是尝试合并MLP（基本Backprop）和RNN（上下文/序列）的两个世界。

TL; DR：如果您删除TDNN的目的，您可以说您的声明在架构级别上成立。但是如果你在行动中并排比较两种架构，你会得到不同的观察结果。