SyncBatchNorm的最小总批量大小是多少

Question

对于普通BatchNorm，每个GPU的最小批处理大小为2。

我想知道我是否使用SyncBatchNorm，是否可以对具有多个GPU的每个GPU使用batch_size=1？

即total_batch_size大于1，但batch_size_per_gpu为1。

对于任何深度学习框架，pytorch，tensorflow，mxnet等的回答，我将不胜感激

Answer 1

对于PyTorch，使用batch_size_per_gpu=1和多个GPU即可。