Question

nvidia-smi在250W功率中的功耗不到100W，而GPU利用率为100％。功耗不应该更接近GPU利用率吗？该怎么解释？

+-----------------------------------------------------------------------------+
| NVIDIA-SMI 410.73       Driver Version: 410.73       CUDA Version: 10.0     |
|-------------------------------+----------------------+----------------------+
| GPU  Name        Persistence-M| Bus-Id        Disp.A | Volatile Uncorr. ECC |
| Fan  Temp  Perf  Pwr:Usage/Cap|         Memory-Usage | GPU-Util  Compute M. |
|===============================+======================+======================|
|   0  GeForce GTX 108...  Off  | 00000000:01:00.0  On |                  N/A |
| 54%   71C    P2    90W / 250W |  10922MiB / 11175MiB |    100%      Default |
+-------------------------------+----------------------+----------------------+
|   1  GeForce GTX 108...  Off  | 00000000:02:00.0 Off |                  N/A |
| 45%   64C    P2    99W / 250W |  10377MiB / 11178MiB |    100%      Default |
+-------------------------------+----------------------+----------------------+

Answer 1

GPU-Util不能代表GPU的总处理能力。

示例：接下来的10分钟有两个人在运动。一个锻炼者决定走路，而另一个锻炼者决定跑步。他们俩都很忙，所以两个运动者都显示“ Human-Util” = 100％。但是，哪个准分子消耗的能量更多？跑步者消耗的能量更多，因此跑步者可能消耗90％的功率。步行者可能只消耗30％的功率。

如果您的GPU实用程序显示65％，则意味着正在使用的每100万个时钟周期中有65万个正在使用，但这并不意味着它在所运行的650,000个时钟周期内都以最大容量运行。

100％或任何其他百分比相同。即使您的GPU-Util显示了100％的使用率，也仅意味着一百万个时钟周期中有一百万个处于忙碌状态，但它可能仅在每个时钟周期内使用了简单的计算或少量的计算。

Answer 2

另一个解释：功耗值比GPU使用率延迟了约0.5秒。连续的nvidia-smi调用显示，平均GPU利用率与平均功耗一致。

$ while true ; do nvidia-smi | grep 10922MiB ; sleep .2 ; done
| 54%   71C    P2    92W / 250W |  10922MiB / 11175MiB |    100%      Default |
| 54%   70C    P2    90W / 250W |  10922MiB / 11175MiB |    100%      Default |
| 55%   70C    P2   254W / 250W |  10922MiB / 11175MiB |    100%      Default |
| 54%   72C    P2   155W / 250W |  10922MiB / 11175MiB |     99%      Default |
| 54%   70C    P2    79W / 250W |  10922MiB / 11175MiB |      0%      Default |
| 54%   72C    P2   193W / 250W |  10922MiB / 11175MiB |     87%      Default |
| 54%   71C    P2    97W / 250W |  10922MiB / 11175MiB |    100%      Default |
| 54%   70C    P2    95W / 250W |  10922MiB / 11175MiB |    100%      Default |
| 54%   71C    P2   233W / 250W |  10922MiB / 11175MiB |     99%      Default |
| 54%   71C    P2    74W / 250W |  10922MiB / 11175MiB |     92%      Default |
| 54%   70C    P2    78W / 250W |  10922MiB / 11175MiB |      0%      Default |
| 54%   71C    P2   156W / 250W |  10922MiB / 11175MiB |     77%      Default |
| 54%   71C    P2    82W / 250W |  10922MiB / 11175MiB |    100%      Default |
| 54%   71C    P2   264W / 250W |  10922MiB / 11175MiB |    100%      Default |
| 54%   72C    P2    82W / 250W |  10922MiB / 11175MiB |     99%      Default |
| 54%   70C    P2    74W / 250W |  10922MiB / 11175MiB |      6%      Default |
| 54%   70C    P2    73W / 250W |  10922MiB / 11175MiB |      4%      Default |
| 54%   71C    P2   207W / 250W |  10922MiB / 11175MiB |    100%      Default |
| 54%   71C    P2   109W / 250W |  10922MiB / 11175MiB |    100%      Default |
| 54%   70C    P2    91W / 250W |  10922MiB / 11175MiB |    100%      Default |
| 54%   70C    P2   134W / 250W |  10922MiB / 11175MiB |    100%      Default |
| 54%   72C    P2   260W / 250W |  10922MiB / 11175MiB |     98%      Default |
| 54%   70C    P2    79W / 250W |  10922MiB / 11175MiB |     64%      Default |
| 54%   71C    P2   205W / 250W |  10922MiB / 11175MiB |     92%      Default |
| 54%   71C    P2    96W / 250W |  10922MiB / 11175MiB |    100%      Default |

当GPU利用率为100％时，为什么GPU功耗为40％？

2 个答案: