额外的GPU无法提高Tensorflow性能

Question

我正在使用我的桌面配置测试contains，如下所示。

1. 英特尔i7-7700k
2. 华硕B250采矿版
3. 16 Gigabyte p106
4. 32GB内存
5. Ubuntu 16.04 cuda 9.0和cudnn 7.1
6. Tensorflow已安装1.10

但是，8张卡和16张卡的结果相同。

知道为什么会发生这种情况吗？

Answer 1

这取决于您的设置以及基准测试中使用的参数。

• 验证nvidia驱动程序是否正常工作：nvidia-smi。 您所有的GPU都应在此处列出。
• 验证tf-nightly-gpu已安装：pip list。根据基准documentation，这是一项要求。
• 正在训练模型时，再次使用nvidia-smi检查是否存在实际的GPU利用率，以及使用了多少个GPU。
• 尝试更改variable_update参数值。

Answer 2

我安装了tf-nightly-gpu和variable_update = independent

enter image description here