Question

我已成功使用TensorRT Inference Server成功提供了Tensorflow对象检测API模型，并且配置文件（config.pbtxt）如下：

name: "first_model"
platform: "tensorflow_savedmodel"
max_batch_size: 1
input [
  {
    name: "inputs"
    data_type: TYPE_UINT8
    dims: [ -1, -1, 3 ]
  }
]
output [
  {
    name: "detection_boxes"
    data_type: TYPE_FP32
    dims: [ 100, 4 ]
  },
  {
    name: "detection_scores"
    data_type: TYPE_FP32
    dims: [ 100 ]
  },
  {
    name: "detection_classes"
    data_type: TYPE_FP32
    dims: [ 100 ]
  }
]

我正在查看documentation，结果发现还有一种方法可以为config.pbtxt中的模型指定optimization settings。但是，文档未提及如何指定这些优化设置。我尝试将以下行添加到配置文件中

optimization_policy [
  {
    level:1
  }
]

并尝试为模型提供服务，但出现错误：Can't parse /models/first_model/config.pbtxt as text proto。但是，如果我删除与optimization_policy相关的行，则投放时不会遇到任何问题。

如何在配置文件中指定优化策略/设置？

Answer 1

我自己回答。在办公室Github仓库上提出了一个问题，得到了答案。

您将需要按照方案here使用protobuf文本格式来格式化config.pbtxt：

我相信您想要的是：

optimization {  graph { level: 1 } }

使用TensorRT Inference Server时指定优化策略

1 个答案: