再次感谢您花时间回答这篇文章！
快速提问：
在 Clockwork Reccurent Neural Network （RNN）中，（here是文档），在我看来， TanH激活的输出层会遭受来自这么多连接的极端负荷，并且总是靠近 1 输出，或者我错了？
假设我们有一个 CW-RNN ，对于隐藏层，每个 50 神经元 4 模块。
即使这些模块具有不同的时钟频率，显然有时也会激活1个以上的模块。输出0的其他内容：因此，输出层 可能输出 1 ，因为有如此多的输入。
CW-RNN概念中是否有任何遗漏？ 我知道weight initialization，但我只是想知道我是否错过了一块拼图。