如何获得regerssion的速度？

Question

我开始学习机器学习。当我阅读PRML一书时，我遇到了一个问题。它谈论LMS算法并用它来解决回归问题。     wi + 1 = wi + alpha * gradient    我不知道如何确定'alpha'。    那么，如何解决呢？

Answer 1

alpha是learning_rate或步长（梯度下降）。这是我们想要调整的关键参数，因此您可以从选项列表开始，例如：

0.1, 0.01, 0.001, ...

并查看哪一个在训练时间和预测准确性方面效果更好。如果learning_rate太高，您可能会看到成本没有下降（甚至增加）。另一方面，如果它太低，你可能会注意到学习需要很长时间才能收敛到良好的状态。

如果您使用tensorflow（或其他库/工具），要实现该算法，您需要选择一个优化器，例如GradientDescentOptimizer。您会注意到第一个参数是learning_rate。

learning_rate: A Tensor or a floating point value. The learning rate to use.