我正在从事一个项目,以尝试增进我对LSTM网络的了解。我正在按照此博客文章here中概述的步骤进行操作。我的数据集如下所示:
Open High Low Close Volume
Date
2014-04-21 197.080002 206.199997 194.000000
204.380005 5258200
2014-04-22 206.360001 219.330002 205.009995
218.639999 9804700
2014-04-23 216.330002 216.740005 207.000000
207.990005 7295600
2014-04-24 210.809998 212.800003 203.199997
207.860001 5495200
2014-04-25 202.000000 206.699997 197.649994
199.850006 6996700
如您所见,这是TSLA股票走势的小幅快照。
我了解在LSTM中,该数据需要重塑为三个维度:
批量大小
时间步长
功能
我的最初想法是使用某种中等批量大小(以实现最佳概括)。另外,回顾一下10天的历史记录作为时间步长。打开,高,低,音量,关闭等功能。
在这里我有点卡住。我有两个具体问题:
将数据分解为新表示形式(转换它)的方法是什么?
我们如何将其分成训练,测试和验证集?我很难准确地概念化正在分解的内容。我最初的想法是使用sklearn:
train_test_split()
但这似乎在这种情况下不起作用。
很显然,一旦将数据转换然后拆分,就可以轻松构建Keras模型。只需调用fit。(数据)即可。
任何建议或资源(指向正确的方向)将不胜感激。
我当前的代码是:
from sklearn.model_selection import train_test_split
# Split the Data into Training and Testing Data
tsla_train, tsla_test = train_test_split(tsla)
tsla_train.shape
tsla_test.shape
from sklearn.preprocessing import MinMaxScaler
# Scale the Data
scaler = MinMaxScaler()
scaler.fit(tsla_train)
tsla_train_scaled = scaler.transform(tsla_train)
tsla_test_scaled = scaler.transform(tsla_test)
# Define the parameters of the model
batch_size = 20
# Set the model to look back on four days of historical data and
try to predict the fifth
time_steps = 10
from keras.models import Sequential
from keras.layers import LSTM, Dense
lstm_model = Sequential()
在这篇帖子here中找到了一些解释。
答案 0 :(得分:0)
train_test_split
函数的确不会在此处提供所需的结果。它假定每一行都是一个独立的数据点,但并非如此,因为您使用的是单个时间序列。
最常见的选择是使用较早的数据点进行训练,而使用较晚的数据点进行测试(如果适用,则使用中间的一系列点进行验证),这将为您提供与使用所有数据点相同的结果训练集中最后一天的可用训练数据,然后将其实际用于接下来几天的预测。
一旦您将数据集拆分,那么您的想法是,每个培训批次都需要具有针对随机选择的一组日期范围的输入和相应的输出,其中每个输入都是所选的历史数据天数(即days × features
,完整批次为batch size × days × features
),输出只是第二天的数据,
希望这有助于该程序的一些直观认识。您链接的文章提供了您需要的大多数代码的示例-将会非常密集,但是我建议尝试逐行阅读并了解其所做的一切,甚至可能原样键入。