多节点Sagemaker培训是按节点分批还是共享的？

Question

我正在使用Tensorflow，并且注意到在多个节点上执行单个步骤要比在一个节点上执行慢，因此对于在Sagemaker上多个训练节点上执行的步骤构成什么感到有些困惑。

如果我的批次大小为10，并且我有5个训练节点，那么每个节点是2步，还是每个节点10步？

如果批量大小为1和5个节点怎么办？

注意-这里的“节点”是一个单独的训练实例，其计数是根据train_instance_count=5

创建的