如何组织回归神经网络？

Question

我想模拟以下内容：

  

Y（T）= F（X（t-1），X（T-2），... X（叔k））的

或者说一个函数，它的当前输出取决于最后的k个输入。

1-我知道一种方法是将经典神经网络的k输入设为 {x（t-1），x（t-2），... x（tk）} 对于每个 y（t）并训练它。那么使用RNN解决这个问题的好处是什么？

2-假设使用RNN，我应该只使用x（t）（或x（t-1））并假设隐藏层可以找到y（t）与过去k输入的关系在其内存中（隐藏层）？

如果想要根据最后的k输入估算输出，那么使用Deep RNN或LSTM这样的深网对这样的问题有任何好处？

Answer 1

1. 我不建议你使用经典的香草RNN。理论上，它有能力将先前输入的信息存储在其内存中，但实际上它需要一个具有巨大数量的节点。
2. 假设经典的vanilla实现与现代架构（例如LSTM或GRU）一样长 - 这取决于您是否要使用单向或双向模型。如果您想预测下一步 - 通常一个方向性架构更好。如果你想更好地分析给出的序列 - 我建议你应用双向序列。
3. LSTM和GRU使用额外的存储单元，帮助您在内存中的输入之间保持长时间的相关性。它们被认为是目前最好的架构。深度RNN - 通常是具有重复拓扑的深度网络 - 它们以与前馈神经网络相同的方式利用其深度。