有没有办法在不同的GPU上运行批处理的每个分段？

Question

因此，我对Tensorflow和GPU还是很陌生，我想知道是否可以将批处理的不同部分馈送到不同的GPU并在最后汇总结果。我的意思是说，我训练的每个时期的批处理大小为1600，并且我有4个GPU。我可以在每次训练期间将大小为400的批次喂入每个GPU，然后汇总结果吗？

Answer 1

您可以这样做。您将必须执行多GPU训练。

尽管在TensorFlow中您可以进行基于塔的设计，在反向传播之前从每个塔收集和聚合梯度，但这并不是那么简单和有效。

您应该使用简单高效的horovod。