Tensorflow tf.contrib.data.prefetch_to_device（）多个GPU

Question

TensorFlow最近推出了tf.contrib.data.prefetch_to_device（），它可以预先获取GPU内存，但目前还不清楚如何在具有多个GPU的系统上实现预取。每个GPU是否需要它自己的管道和一大块数据集？

Answer 1

在我看来，它的功能目前仅限于预取到一个设备。原因是我从未见过多个设备的tf.device规范，我非常怀疑你可以使用job（分布式TensorFlow）作为参数。

虽然不止一个GPU想要访问由数据集产生的Tensor，但预先获得一个GPU仍然可以带来性能提升，因为多GPU系统通常具有超过PCIe的内存共享。