我使用python3.5的Tensorflow模型的训练速度非常低

Question

我正在使用tf = 1.4.0和python = 3.5.2。训练类似Seq2seq的模型。训练时，我发现训练速度非常慢：起初大约是 1.5分钟/ 20次迭代，然后经过一些迭代，它降低到了 4-5分钟/ 20次迭代< / strong>。有时速度是1.5分钟，有时是4-5分钟。 因此，GPU实用程序非常低，因为大多数情况下GPU实用程序为0％。

我想知道为什么以及如何防止这种情况。

我想这与形状为[batch = 16，max_len约为500、30000]，约900MB的float ndarray有很大关系，并且此数组经常导致gc。我对吗？以及如何克服这个问题？

谢谢！

this is my training log on github