最近，我使用张量流来开发NMT系统。我尝试使用数据并行方法在multi-gpus上训练这个系统来加速它。我遵循tensorflow中广泛使用的标准数据并行方式。例如，如果我们想在8-gpus计算机上运行它。首先，我们构建一个大批量，其大小是单个GPU中使用的批量的8倍。然后我们将这个大批量分成8个小批量。我们分别用不同的gpus训练他们。最后，我们收集渐变来更新参数。但是我发现当我使用dynamic_rnn时，8 gpus中一次迭代所花费的平均时间是在单个gpu中训练的一次迭代所花费的时间的两倍。我确保每个gpu的批量大小是相同的。谁有更好的方法来加速在张量流中训练RNN？