Tensorflows翻译模型的大小与数据集的大小

时间:2017-02-20 10:34:17

标签: python tensorflow dataset size

我正在使用tensorflow创建的translation model。我的GPU有12Gb内存,这限制了我的模型size=512num_layers = 2batch_size=32。由于我的数据集来自Ubuntu Dialoge Corpus,因此我获得了大量数据。然而,这些限制使得无法进一步扩展模型,并且通过对所有数据进行培训,模型可能永远不会收敛(欠拟合)。

由于不合适,我想通过切掉一些来限制训练数据。问题是;多少?是否应该提供一定数量的模型训练数据的指导线,以便收敛但避免过度拟合?翻译模型可以学习多少对x_data和y_data?

0 个答案:

没有答案