我需要在NVIDIA JETSON T2中运行我的模型，所以我将工作的yoloV3模型转换为tensorRT（.trt格式）（ https://towardsdatascience.com/have-you-optimized-your-deep-learning-model-before-deployment-cdc3aa7f413d ）。此链接帮助我转换了将Yolo模型转换为.trt。但是将模型转换为.trt模型后，我需要测试它是否可以正常工作（即，检测是否足够好）。我找不到用于加载和测试.trt模型的任何示例代码。如果有人可以帮助我，请在答案部分或任何链接中提供示例代码以供参考。
答案 0 :(得分：1)
您可以使用此代码段加载并执行 TRT模型的推断。 这是在 Tensorflow 2.1.0 和 Google Colab 环境中执行的。
fitness.val from tensorflow.python.compiler.tensorrt import trt_convert as trt
from tensorflow.python.saved_model import tag_constants
saved_model_loaded = tf.saved_model.load(output_saved_model_dir, tags=[tag_constants.SERVING])
signature_keys = list(saved_model_loaded.signatures.keys())
print(signature_keys) # Outputs : ['serving_default']
graph_func = saved_model_loaded.signatures[signature_keys[0]]
graph_func(x_test) # Use this to perform inference
是 TensorRT优化模型的位置，格式为 SavedModel 。
从这里，您可以添加您的测试方法来确定 pre 和后处理模型的性能。
编辑：
output_saved_model_dir以下是用于 Tensorflow RT优化模型的转换和保存的代码。