具有CTC层的TensorRT

Question

我想使用tensorRT优化模型，但是tensorRT不支持我模型中的CTC层。有人成功使用tensorRT优化了CTC层。

Answer 1

我已经分两个步骤做到了这一点，首先使用TensorRT获取概率logits，然后使用C ++ CTC解码器对logit进行解码。

由于CTC的解码适用于CPU，因此我也设法使用GPU获取批处理的logit，并在GPU运行时将每批logit排队到CPU CTC解码队列中。因此，以这种方式，CPU和GPU可以并行运行。可以在Github或Tensorflow存储库中找到CTC解码器的C ++实现。