如何在分布式策略范围内创建副本本地变量

时间:2019-04-04 11:39:34

标签: python tensorflow tensorflow-estimator

我正在使用tf.estimatortf.distribute在TensorFlow 2.0中管理我的训练循环。我想创建一些策略范围内当前副本本地的变量。我该如何实现?

我的用例是结合tf.distribute支持梯度累积,我有一个可以与经典model_fn复制一起使用的实现。基本上,每个副本都会在局部变量中累积梯度,然后像Optimizer.apply_gradients中的梯度一样减小梯度。

感谢任何指针,

纪尧姆

0 个答案:

没有答案