为什么多GPU比单GPU慢

Question

我在4-gpus和1-gpu上训练过textsum，我发现4-gpus比单个gpu慢，而且它们的利用率都低，有人可以帮助我解决这个问题吗？