梯度下降与成本函数J（theta）有什么区别？

Question

我正在从Coursera学习机器学习。但是我对梯度下降和成本函数之间的混淆不大。我应该在何时何地使用它们？

Answer 1

通过反复试验的方法将J（lot）最小化，即尝试许多值然后检查输出。因此在实践中，这意味着这项工作是手工完成的，而且很耗时。

梯度下降基本上可以完成J（ϴ）的工作，但是是以自动方式进行的-逐步更改theta值或参数，直到我们希望达到最小值为止。这是一种迭代方法，其中模型向最陡下降方向（即theta的最佳值）移动。

为什么要使用梯度下降？它易于实现，是通用的优化技术，因此即使您更改模型也可以使用。如果您有很多功能，也最好使用GD，因为在这种情况下，常规的J（ϴ）计算变得非常昂贵。

Answer 2

梯度下降 需要成本函数（成本函数有很多类型）。经常使用的一个常见函数是均方误差，它测量估计量（数据集）和估计值（预测）之间的差异。

我们需要此成本函数，因为我们希望将其最小化。最小化任何功能意味着找到该功能中最深的谷。请记住，成本函数用于监视ML模型预测中的错误。因此，将其最小化基本上意味着获得可能的最低误差值或提高模型的准确性。简而言之，我们通过迭代训练数据集并调整模型的参数（权重和偏差）来提高准确性。

简而言之，梯度下降的全部目的是使成本函数最小化