PennTree Bank的数据似乎难以理解。以下是两个链接 https://github.com/townie/PTB-dataset-from-Tomas-Mikolov-s-webpage/tree/master/data https://www.tensorflow.org/tutorials/recurrent
我的担忧如下。读者给了我大约一百万次出现的10000字。我编写了将此数据集转换为单热编码的代码。因此，我有一百万个10000维度的向量，每个向量在一个位置具有1。现在，我想在此基础上训练LSTM（长期短期记忆）模型进行预测。
为简单起见，我们假设有30个（而不是百万个出现）出现，并且LSTM的序列长度等于10（它展开的时间步数）。让我们通过
来表示这些出现X1,X2,....,X10,X11,...,X20,X21,...X30
现在，我担心的是我应该使用3个数据样本进行培训
X1，.. X10和X11，..，X20和X21，.. X30
或者我应该使用20个数据样本进行培训 X1，.. X10和X2，...，X11和X3，..，X12，等等，直到X21，..，X30
如果我选择后者，那么我不打破i.i.d.假设训练数据序列生成？