Adagrad优化器如何在TensorFlow中工作？

Question

1. 根据最初的论文，应该有一个名为δ的参数。但我在TensorFlow AdagradOptimizer construtor中找不到这样的论点。

2. 有一个名为 initial_accumulator_value 的参数，建议设置为0，但TensorFlow默认使用0.1。我将它设置为0是适当的吗？

非常感谢您的时间！

盖瑞特

Answer 1

0确实是\ delta，不应该初始化为0.01。值0.1更合适，但默认值为{{1}}。

顺便说一下，如果你正在玩优化器，Adagrad的作者有一个新的优化器https://arxiv.org/abs/1802.09568，它比现有的优化器表现要好得多。它的TF实现应该很快就会在2018年第二季度发布。