在Tensorflow中具有长序列的RNN的性能

Question

我已经构建了一个序列长度约为10,000的RNN。创建优化器花了很长时间 train_op = tf.train.GradientDescentOptimizer(0.008).minimize(cost)并花了很长时间训练。我想知道如何加快计算过程。

Answer 1

最新版本的TensorFlow（当前每晚构建版/即将推出的版本0.8）包含一个名为tf.nn.dynamic_rnn()的实验性功能。此功能允许您使用TensorFlow图中的循环构建RNN，从而大大减少图中使用的节点数（因此必须为梯度下降构建图的大小）。