GPU之间的数据传输

Question

以下是在CIFAR10模型示例中，tensorflow在多个GPU上的工作原理。 https://www.tensorflow.org/versions/r0.8/tutorials/deep_cnn/index.html

1. 在每个GPU上放置一个单独的模型副本。
2. 通过等待所有GPU完成处理一批数据来同步更新模型参数。

正如张流教程所提到的，所有模型参数都存储在CPU上，因为避免了与GPU之间的数据传输。 当GPU与CIFAR10型号一起运行时，GPU之间没有数据传输？ 数据传输只发生在CPU和GPU之间？