TensorFlow,inverse_time_decay中的t是什么?

时间:2016-12-06 09:42:13

标签: tensorflow

我想使用inverse time decay of learning rate,公式为

decayed_learning_rate = learning_rate / (1 + decay_rate * t)

还有一个例子

...
global_step = tf.Variable(0, trainable=False)
learning_rate = 0.1
k = 0.5
learning_rate = tf.train.inverse_time_decay(learning_rate, global_step, k)

# Passing global_step to minimize() will increment it at each step.
learning_step = (
    tf.train.GradientDescentOptimizer(learning_rate)
    .minimize(...my loss..., global_step=global_step)
)

在上面的示例中,kdecay_rate,但如何设置ttglobal_step吗?

1 个答案:

答案 0 :(得分:0)

这将是全球性的一步。全局步骤是一个变量,在每个训练步骤完成后递增1。如果你想要某种其他的t,你可以传递你喜欢的任何张量作为“global_step”。