如何在C ++中对具有非固定输入形状的FP16 TensorFlow模型进行推理？

Question

该模型是使用Python训练的。我研究了不同的方式，但在这里或那里碰壁。我总结如下，如果我错了，请纠正我

+--------------------+-----+-------+-----------------+
|                    | C++ | FP 16 | non-fixed shape |
+--------------------+-----+-------+-----------------+
| TensorFlow C++ API | ✓   | ?     | ✓               |
| TensorRT           | ✓   | ✓     | X               |
| TF-TRT             | X   | ✓     | ✓               |
+--------------------+-----+-------+-----------------+

• 至少TensorRT 5.1 still doesn't support non-fixed input shape
• TF-TRT = tensorflow/tensorrt，目前仅在Python中可用
• 我知道TensorRT Inference Server，但如果不需要，我不想进入基于网络通信的解决方案

“？”表中的表示与tensorflow/core/kernels下的Eigen::half（例如，在conv_2d_gpu_half.cu.cc内部）的相互作用，以使用TensorFlow C ++实现FP 16算法。我看不到很多文档，但这是唯一的方法吗？

（我可以将模型转换为其他框架，例如MXNet，但似乎也有类似的限制： 只需更改TensorFlow C ++ API→MXNet C++ Package， 表中的TensorRT→{TVM和TF-TRT→MXNet-TensorRT}