为什么多GPU张量流再训练不起作用

Question

我一直使用单个GTX Titan训练我的张力流再训练算法并且它工作得很好但是当我尝试在再训练花的例子中使用多个gpus时它不起作用并且在我跑的时候似乎只使用一个GPU它在Nvidia SMI。

为什么会发生这种情况，因为当从头开始重新训练Inception模型时，它会与多个gpus一起使用，而不是在重新训练期间？

Answer 1

即使您设置了--num_gpus＆gt;，TensorFlow的花重新训练示例根本不适用于多个GPU。 1.如你所说，它应该支持单个GPU。

需要修改模型以并行使用多个GPU。不幸的是，像花再训练一样的单个TensorFlow操作此时不能自动分割到多个GPU上。