Niftynet如何处理多GPU训练

Question

我正在使用Niftynet使用2个GPU训练CNN。据我了解，每个GPU都是独立训练的，因为每次迭代都会得到两个损失值。两个GPU的结果是否在推理时结合在一起？ 我曾经相信使用多个GPU会减少训练时间，但在Niftynet中似乎并非如此。

Answer 1

是的，正确。它确实减少了我的培训时间。请注意，使用多个GPU可使批处理大小增加一倍。

例如，如果您的batch size = 2在使用多个GPU之后表示每个GPU将拥有batch size = 2。因此，您的最终批次大小将为4。