TensorFlow Slim - 在cpu上克隆

Question

在以下代码段（slim / train_image_classifier.py）中，“使用CPU来部署克隆”是什么意思：

tf.app.flags.DEFINE_boolean(
    'clone_on_cpu', False,
    'Use CPUs to deploy clones.'
)

Answer 1

  

使用CPU来部署克隆的平均值

通常，在GPU上计算设置模型损耗和梯度，单个克隆使用单个GPU。对于多GPU，培训创建多个克隆。如果您有4个GPU，则会创建4个克隆并同时计算不同批次的丢失（数据并行性）。也就是说，现在如果你没有GPU，你可以使用多个CPU来实现数据并行性（当然会比GPU慢）。 USE CPUs to deploy clones选项允许您使用CPU进行数据并行;计算cpu上的模型损失和梯度。