标签: python tensorflow tensorflow-estimator
我正在使用tf.estimator和tf.distribute在TensorFlow 2.0中管理我的训练循环。我想创建一些策略范围内当前副本本地的变量。我该如何实现?
tf.estimator
tf.distribute
我的用例是结合tf.distribute支持梯度累积,我有一个可以与经典model_fn复制一起使用的实现。基本上,每个副本都会在局部变量中累积梯度,然后像Optimizer.apply_gradients中的梯度一样减小梯度。
model_fn
Optimizer.apply_gradients
感谢任何指针,
纪尧姆