我是深度强化学习的新手，正在使用ray RLlib软件包进行培训。我想评估32,64,128个内核/ CPU的培训的可扩展性。据我了解，在分布式强化学习中，环境以分布式方式并行运行，然后收集了一批训练样本。然后使用这些数据对神经网络进行训练。
我的问题是批量大小是否显着影响培训？例如，如果我的批次大小为20，而我正在使用32个工人，那么将收集640个（32 * 20）样本来训练神经网络。使用相同的批次大小和128个工人，将是2560（128 * 20）个样本。无论工人数量多大，我都应该使用相同的批量大小，还是随着工人数量的增加而改变批量大小？
谢谢。