如何实时运行基于TensorRT的深度学习模型？

Question

我已经使用 TensorRT 优化了深度学习模型。 C ++接口通过 Jetson TX2 上的优化模型来推断图像。该接口平均提供60 FPS（但不稳定。推断范围为50 FPS和160 FPS）。我需要实时运行该系统，并实时修补Jetson 。

那么您对使用TensorRT进行实时推理有何看法？是否可以使用TensorRT开发实时推理系统？

我尝试为进程和线程设置高优先级以提供优先权。我希望每次推断的FPS值都差不多。因此，我需要确定性的推理时间。但是系统无法确定地输出。

Answer 1

您是否尝试过设置Jetson的时钟：sudo nvpmodel -m 0

以下是更多信息的链接：

• https://elinux.org/Jetson/Performance
• https://devtalk.nvidia.com/default/topic/999915/jetson-tx2/how-do-you-switch-between-max-q-and-max-p/post/5109507/#5109507
• https://devtalk.nvidia.com/default/topic/1000345/jetson-tx2/two-cores-disabled-/post/5110960/#5110960