标签： tensorflow distributed
在tensorflow数据并行分布式训练中（同步模式），什么样的变量将传递和更新梯度？如果变量的Trainable = False，这是否意味着TensorFlow在进行训练时不会为其传输任何数据？ （除了第一次将相同的变量分配给不同的设备）
我面临的真正问题是： 我有一个模型，该模型具有2M的可训练变量和600M的所有变量（可训练和不可训练），我想弄清楚“使用数据并行模式将模型缩放到不同的设备”的数据传输开销，我不知道开销仅与2M有关或与600M有关。
谢谢！