为什么我的神经网络在大型数据集上训练时表现不佳，尽管在小型数据集上运行良好？

Question

我有一个RNN，我正在训练生成文本。在对小型数据集进行训练时，它表现得非常好（尽管它记录了训练数据中的大块文本，表明过度拟合）。但是，在一个大型数据集上，它的表现非常差，只能输出几个明智的单词才能卡在相同的三个或四个单词的循环中。我知道过度拟合可能是一个问题，但是当在大型数据集上训练时，与在小型数据集上训练时相当好的性能相比，这肯定不会导致如此糟糕的性能。关于什么可能导致这些结果的任何想法？

Answer 1

我认为添加长期短期记忆（LSTM）是一个好主意，如果你还没有增加一个。请参阅链接以供参考。 https://medium.com/@camrongodbout/recurrent-neural-networks-for-beginners-7aca4e933b82