Question

我正在使用4x NVIDIA Titan X的机器上运行CIFAR 10（https://www.tensorflow.org/tutorials/deep_cnn）的tensorflow示例。我使用命令

python cifar10_multi_gpu_train.py --num_gpus=4

然而，GPU只使用了25％。有人可以解释瓶颈是什么以及如何解决它？输入管道和从CPU到GPU的数据传输是否存在问题？

Answer 1

CIFAR10教程中的那个模型非常小，所以你可能会看到很多开销。您可以查看增加批量大小是否有效以提高利用率，但如果我想对多GPU事物进行基准测试，我会看一下更大的数据/模型。