RMSPropOptimizer的初始化

时间:2016-12-27 06:02:46

标签: tensorflow

在TensorFlow(Python)中,当向图形中添加tf.train.RMSPropOptimizer时,是否需要初始化添加任何其他变量?如果是,我如何才能访问它们并手动初始化它们? (我不想使用tf.global_variables_initializer)。换一种说法: (1)如何确定使用哪个初始化程序? (2)如何将initilizer op添加到图中,特别是这些变量?

编辑1:

我在这里指的是每当我添加tf.Variable时添加到图表中的任何新RMSPropOptimizer,以及它是如何初始化的(就像其他tf.Variable一样) 。我没有引用RMSPropOptimizer的构造函数中的参数(它们是模型的超参数)。

1 个答案:

答案 0 :(得分:0)

  

在TensorFlow(Python)中,当向图形添加tf.train.RMSPropOptimizer时,是否需要初始化添加的任何其他变量?

  

如果是,我如何才能访问它们并手动初始化它们? (我宁愿不使用tf.global_variables_initializer)。

来自文档:

  

tf.train.RMSPropOptimizer.__init__(learning_rate, decay=0.9, momentum=0.0, epsilon=1e-10, use_locking=False, centered=False, name='RMSProp')

至少有3个(decaymomentumepsilon)。

  

换句话说:(1)如何决定使用哪个初始值设定项?

这个我没有一个好的答案 - 我在课堂上被告知“只是使用亚当”。总的来说这可能是一个很好的建议,但我想有些情况下其他人的工作会更好。这可能值得在网上搜索博客文章或调查报告或其他东西。

  

(2)如何将初始化器op添加到图中,特别是这些变量?

您可以将它们作为命名参数传递给构造函数。