如何将细分模型模型转换为openvino int8模型？

Question

我正在尝试将我的张量流分割模型转换为带有量化的openvino。我使用openvino模型优化器将.pb模型转换为中间表示形式。但是如何量化模型。在官方文档中，可以使用DL Workbench进行编写。但是在工作台中，我只有检测和分类数据集。

我可以将没有数据集的模型转换为int8还是可以将数据集创建为分段？

Answer 1

将模型从FP32转换为INT8的总体流程为：

• 选择FP32型号

• 选择合适的数据集

• 运行基线推断

• 配置INT8校准设置

• 为校准模型配置推理设置

• 查看INT8校准

• 查看推理结果

• 将校准后的模型与原始FP32模型进行比较

仅某些FP32格式的卷积模型可以量化为INT8。如果您的模型不兼容，您将收到一条错误消息。

创建配置的第二阶段是添加样本数据集。您可以导入数据集，自动生成由高斯分布噪声组成的测试数据集，或选择以前上传的数据集。

您可以在以下链接中找到更多详细信息： http://docs.openvinotoolkit.org/latest/_docs_Workbench_DG_Select_Datasets.html