如何加速张量流RNN推理时间

Question

我们已经培训了一个用于问答的tf-seq2seq模型。主要框架来自google/seq2seq。我们使用双向RNN（GRU编码器/解码器128单元），增加了软关注机制。

我们将最大长度限制为100个字。它大多只生成10~20个单词。

对于模型推理，我们尝试两种情况：

1. 正常（贪心算法）。其推理时间约为40ms~100ms
2. 光束搜索。我们尝试使用波束宽度5，其推理时间约为400ms~1000ms。

因此，我们想尝试使用波束宽度3，它的时间可能会减少，但它也可能影响最终效果。

那么有没有建议减少我们案件的推理时间？感谢。

Answer 1

有四种方法：

详细说明可以hit this link。