我正在训练一个像ResNet这样的大型网络，其批量大小只有25个。当我这样做时，我获得了非常低的振荡GPU利用率。我看过几篇关于PyTorch中低GPU利用率的帖子。但是，他们建议采取以下任何一种方式：
“增加批量大小。”：但是，这不是计算选择，我希望我的批量大小。
“增加工人数量，因为数据加载可能是瓶颈。”：首先，数据加载不是瓶颈，因为它花费的时间要少得多。其次，增加加载器的数量会增加我的代码的运行时间。第三，即使增加了装载机的数量，低利用率和振荡的GPU利用率仍然存在。因此，这个建议也不适用。
“Set shuffle = False”：再次不是一个可行的解决方案，因为我必须以某种方式改变我的数据。
当我们有小批量化时，您是否有其他建议可以更有效地使用GPU？