如何在Ubuntu上为进程获得最大的GPU内存使用量？ （适用于Nvidia GPU）

Question

我有一台安装了Ubuntu 16.04的服务器。它有一个K80 GPU。多个进程正在使用GPU。

某些进程具有不可预测的GPU使用率，我希望可靠地监控其GPU使用情况。

我知道您可以通过nvidia-smi查询GPU使用情况，但这只会在查询时提供使用情况。

目前我每隔100毫秒查询一次信息，但这只是对GPU使用情况进行采样，并且可能会跳过峰值GPU使用情况。

我是否有可靠的方法来获得给定PID进程的最大GPU内存使用量？

Answer 1

尝试使用NVIDIA Visual Profiler。我不确定它的准确程度，但它为您提供了程序运行时不同时间设备内存使用情况的图表。