Jetson TX2张量流per_process_gpu_memory_fraction变量不能设置为1.0

Question

当我将per_process_gpu_memory设置为0.5到1.0时，没有足够的内存，它将崩溃。

1）那么，有什么想法或建议可以使它起作用？

2）将tensorflow代码转换为tensorRT是否会提高性能（不用于训练，仅用于预测）？

Answer 1

1. 不要将内存使用率设置为1.0。请记住，TX2是SoC，CPU内核和GPU共享一个公共的内存池。如果GPU正在使用该内存的100％，则没有剩余的CPU内存；如果我没记错的话，则不会为任何交换空间设置默认操作系统。
2. 有一些基准测试表明，使用TensorRT优于仅在TensorFlow中进行推理。从理论上讲，TensorRT在GPU上进行了更优化的推理，并运行在构建引擎时选择的一组特殊内核。有关一些基准，请参见此处：https://github.com/NVIDIA-Jetson/tf_to_trt_image_classification