Question

我有一个问题，涉及使用pybrain进行时间序列的回归。我计划在pybrain中使用LSTM层来训练和预测时间序列。

我在下面的链接中找到了一个示例代码

Request for example: Recurrent neural network for predicting next value in a sequence

在上面的示例中，网络能够在训练后预测序列。但问题是，网络通过将其一次性输入到输入层来接收所有顺序数据。例如，如果训练数据各有10个特征，则10个特征将同时被馈送到10个输入节点。

根据我的理解，这不再是时间序列预测我是对的吗？由于每个功能被馈入网络的时间没有区别？如果我错了，请纠正我。

因此，我想要实现的是一个只有一个输入节点和一个输出节点的循环网络。输入节点是在不同时间步骤顺序馈送所有时间序列数据的地方。将训练网络以在输出节点处再现输入。

您能否建议或指导我构建我提到的网络？非常感谢你提前。

Answer 1

您可以使用单个输入节点和单个输出节点训练LSTM网络，以进行时间序列预测，如下所示：

首先，作为一个好习惯，让我们使用Python3的打印功能：

from __future__ import print_function

然后，制作一个简单的时间序列：

data = [1] * 3 + [2] * 3
data *= 3
print(data)

[1,1,1,2,2,1,1,1,2,2,2,1,1,1,2,2,2]

现在将这个时间序列放入一个受监督的数据集中，每个样本的目标是下一个样本：

from pybrain.datasets import SequentialDataSet
from itertools import cycle

ds = SequentialDataSet(1, 1)
for sample, next_sample in zip(data, cycle(data[1:])):
    ds.addSample(sample, next_sample)

构建一个简单的LSTM网络，包含1个输入节点，5个LSTM单元和1个输出节点：

from pybrain.tools.shortcuts import buildNetwork
from pybrain.structure.modules import LSTMLayer

net = buildNetwork(1, 5, 1, 
                   hiddenclass=LSTMLayer, outputbias=False, recurrent=True)

训练网络：

from pybrain.supervised import RPropMinusTrainer
from sys import stdout

trainer = RPropMinusTrainer(net, dataset=ds)
train_errors = [] # save errors for plotting later
EPOCHS_PER_CYCLE = 5
CYCLES = 100
EPOCHS = EPOCHS_PER_CYCLE * CYCLES
for i in xrange(CYCLES):
    trainer.trainEpochs(EPOCHS_PER_CYCLE)
    train_errors.append(trainer.testOnData())
    epoch = (i+1) * EPOCHS_PER_CYCLE
    print("\r epoch {}/{}".format(epoch, EPOCHS), end="")
    stdout.flush()

print()
print("final error =", train_errors[-1])

绘制错误（请注意，在这个简单的玩具示例中，我们正在测试和培训相同的数据集，这当然不是您为实际项目所做的事情！）：

import matplotlib.pyplot as plt

plt.plot(range(0, EPOCHS, EPOCHS_PER_CYCLE), train_errors)
plt.xlabel('epoch')
plt.ylabel('error')
plt.show()

现在请网络预测下一个样本：

for sample, target in ds.getSequenceIterator(0):
    print("               sample = %4.1f" % sample)
    print("predicted next sample = %4.1f" % net.activate(sample))
    print("   actual next sample = %4.1f" % target)
    print()

（上面的代码基于example_rnn.py以及PyBrain documentation中的示例）

Answer 2

我认为要学习的更好（更简单/更清晰）的例子就在这里，在页面底部：

http://pybrain.org/docs/tutorial/netmodcon.html

基本上，一旦设置如图所示，它将自动跟踪输入＆＃39;过去的历史（除非你点击重置）。来自文档：

http://pybrain.org/docs/api/structure/networks.html?highlight=recurrentnetwork#pybrain.structure.networks.RecurrentNetwork

＆＃34;在调用.reset（）之前，网络会跟踪所有先前的输入，从而允许使用经常回顾的循环连接和层。＆＃34;

所以是的，每次都不需要重新呈现网络的所有过去的输入。

Answer 3

我测试了LSTM预测Theano的一些时间序列。我发现，对于一些平滑的曲线，可以正确预测。然而对于一些曲折曲线。很难预测。详细文章如下： Predict Time Sequence with LSTM

预测结果如下： http://www.fuzihao.org/blog/images/LSTM_predict.png

使用LSTM循环网络预测Pybrain时间序列

3 个答案: