更深的LSTM是否需要更多单位？

Question

我将LSTM应用于具有20个滞后的时间序列预测。假设我们有两种情况。第一个仅使用五个滞后，第二个（如我的情况）使用20个滞后。在第二种情况下，与前一种情况相比，我们需要更多的单元是否正确？如果是，我们如何支持这个想法？我有2000个样本用于训练模型，因此这是此处增加单位数量的主要限制。

Answer 1

给出确切答案非常困难，因为时间步长和隐藏单位数之间的关系并不是一门精确的科学。例如，以下因素会影响所需的单位数量。

• 短期记忆问题与长期记忆问题

  • 如果您可以用相对较少的内存来解决问题（即只需要记住几个时间步长），那么增加更多神经元并增加步长数将不会带来很多好处。

• 数据量

  • 如果您没有足够的数据可供模型学习（我认为您会遇到2000个数据点-但我可能是错的），那么增加时间步数将无济于事。

• 您使用的模型类型

  • 根据您使用的模型类型（例如LSTM / GRU），您可能会得到不同的结果（这并不总是正确的，但可能会因某些问题而发生）

我敢肯定还有其他因素，但是我想到的很少。

证明更多的单位会带来更好的结果，同时具有更多的时间步长（如果为true）

那应该比较容易，因为您可以尝试几种不同的选择，

• 5个滞后项包含10/20/50个隐藏单位
• 20个滞后与10/20/50个隐藏单位

如果您有20个滞后问题而不是5个滞后问题（使用50个单位）时性能更好（例如，较低的MSE），那么您已经明白了。而且，您可以通过显示不同类型的模型（例如LSTM与GRU）的结果来加强自己的主张。