如何通过3D卷积和合并来避免针对TensorFlow的TensorRT 6.0.1性能回归？

Question

在转移到TRT时，是否期望3D卷积和池化会比TF慢？

https://github.com/ralovich/trt-regression存储库旨在包含一个数据集和脚本，以重现我们在TF和TF-TRT上观察到的性能回归。看来，运行处理3D卷积和池化层的网络通过TF比通过TF-TRT更快地执行。我们已经在三个GPU上观察到了这种行为：GTX 1080 8GB，RTX 2080 Ti 12GB和V100 16GB。在我们的测量中，TF-TRT的速度降低了约27-44％。我们到处都使用batchsize = 1和FP32。

TensorFlow需要针对TensorRT 6构建，并且至少需要包含https://github.com/tensorflow/tensorflow/commit/4297539768bfb6d45d3248fc6471e84e260efc6c。

另请参阅：https://devtalk.nvidia.com/default/topic/1064822/tensorrt/tensorrt-6-slower-than-tensorflow-with-3d-convolutions-and-pooling/