使用样本数据（玩具样本数据）训练张量流文本需要多长时间？

Question

我正在研究tensorflow的文本（文本摘要模型）。我已经开始使用样本数据训练模型，即从git克隆时随模型提供的玩具数据集。我想知道用样本数据集训练模型和解码需要多长时间？它已经花了超过17小时仍在运行。

Answer 1

不幸的是，对于玩具数据训练集，它只是为您提供观察模型整体流程的方法，而不是为您提供不错的结果。这是因为玩具数据集中没有提供足够的数据来提供良好的结果。

时间量很难提供，因为它与您运行的硬件相关。因此，您通常会进行训练，直到您达到2到1之间的平均损失。辛潘表示，如果数据集较大，则不应低于1.0平均损失。因此，在我的980M上，我能够在不到一天的时间内通过玩具数据集得到它。

那就是说，我的结果非常糟糕，我认为有些不对劲。我发现唯一不对的是我没有足够的数据。然后，我抓了大约4万篇文章，结果仍然无法接受。最近我接受了130万篇文章的培训，结果非常好。经过进一步分析，主要是由于文本模型是抽象的而不是抽象的。

希望这有点帮助。对于130万和批量设置为64，我能够在不到一周半的时间内使用TF 0.9，cuda 7.5和cudnn 4在我的硬件上训练模型。我听说新的cudnn / cuda应该更快，但到目前为止我无法说出来。

Answer 2

在我的i5处理器上，仅使用cpu，玩具训练数据集花了大约60个小时达到0.17的值。

使用8gb的ram消耗了大约10gb额外交换的额外内存。增加RAM和使用GPU可能会提供更好的结果。目前我无法显示来自tensorboard的平均损失的图像，但我希望您的查询已得到解答。