在Tensorflow上训练改变输入大小RNN

Question

我想训练一个具有不同输入大小的句子X的RNN，没有填充。用于此的逻辑是我使用全局变量，并且对于每个步骤，我举一个例子，编写前向传播，即构建图，运行优化器，然后再用另一个例子重复该步骤。与我实现向前和向后传播并使用与上述相同的逻辑的同一件事的numpy实现相比，该程序非常慢。 nensy实现需要几秒钟，而Tensorflow非常慢。在GPU上运行相同的东西会有用还是我在做一些逻辑错误？

Answer 1

作为一般指导原则，只有当您拥有计算密集型代码和少量数据传输时，GPU才能提升性能。换句话说，如果您一次训练模型一个实例（或小批量），那么进出GPU的数据传输开销甚至会使代码运行得更慢！但如果您提供大量样本，那么GPU肯定会提升您的代码。