我正在使用Niftynet使用2个GPU训练CNN。据我了解,每个GPU都是独立训练的,因为每次迭代都会得到两个损失值。两个GPU的结果是否在推理时结合在一起? 我曾经相信使用多个GPU会减少训练时间,但在Niftynet中似乎并非如此。
答案 0 :(得分:0)
是的,正确。它确实减少了我的培训时间。请注意,使用多个GPU可使批处理大小增加一倍。
例如,如果您的batch size = 2
在使用多个GPU之后表示每个GPU将拥有batch size = 2
。因此,您的最终批次大小将为4。