Tensorflow步长非常小，以防止错误？

Question

我正在尝试使用带有Tensorflow的渐变下降来做一个简单的线性回归问题，但除非我设置我的步长确实非常小，重量和偏置气球几乎立即溢出。这是我的代码：

// producer code, supposing it's also injected
this.animationService.loadServiceSubject.next(true);

所以基本上，当我运行它时，输出几乎立即成为“NaN”。有什么想法吗？

提前致谢！

Answer 1

学习率非常低意味着权重的更新非常小。在你的情况下，即使相对较小的学习率也会增加你的权重，因为权重更新（dE / dW）似乎非常大。并且更新是输出错误的函数。如果标签值较大，则平方误差在开始时会很高，因为预测值非常低。尝试缩放输出以避免此问题。