什么是在张量流中使用分布式多GPU推理的最佳方式?

时间:2018-02-06 16:14:10

标签: python tensorflow deep-learning distributed-computing tensorflow-datasets

我是Tensorflow的新手,我正致力于将测试图像分发到多个GPU。我已经阅读了很多Stack溢出答案和Github示例,我认为可能有两种方法可以做到这一点。

1)使用tf.FIFOQueue()为每个GPU图像提供信息,但是在很多答案中不建议使用队列(由于新的tf.data API)。它有一些问题(https://github.com/tensorflow/tensorflow/issues/8061

2)使用tf.data API。我不确定这个API是否支持GPU。在本期(https://github.com/tensorflow/tensorflow/issues/13610)中,使用tf.data API的输入管道似乎还不支持GPU提供。

分布式Tensorflow不在我的考虑之内(因为我们的服务器模型和规模并不大)

如果有人能给我任何建议,我将非常感激。

1 个答案:

答案 0 :(得分:1)

使用tf.datatf.data API旨在取代几乎所有队列功能,使一切变得更容易,更高效。

它还可以将数据提供给GPU。您链接的第二个问题只是说预处理不会在GPU上发生,但数据将在CPU上处理,然后发送到您的多个GPU。