机器学习中的梯度下降和网格搜索之间有什么区别？

Question

超参数调整使用了两种技术，例如网格搜索或随机搜索。 梯度下降主要用于最小化损失函数。

这里是何时使用网格搜索和梯度下降的查询。

Answer 1

• 梯度下降用于优化模型，这意味着模型的权重和偏差可以最大程度地减少损失。它试图达到损失函数的最小值并在很大程度上推广模型。它根据给定的超参数优化模型。 例如，学习率的用法类似于

  W = W-（learning_rate *渐变）

在这里，学习率的超参数影响权重W。

• 为了选择更好的超参数值，使用了GridSearch和RandomSearch算法。超参数在训练期间是恒定的，但需要进行微调，以使模型收敛于良好的状态。

梯度下降基于超参数优化模型。为了微调超参数，使用了GridSearch和RandomSearch。

使用梯度下降法对模型进行优化（权重和偏差） 超参数调整算法可微调影响梯度下降的超参数。  用法可以按照这种方式进行。

1. 在一些选定的超参数上训练模型。
2. 评估模型的损失和准确性。
3. 运行超参数调整以获得更好的超参数值。
4. 使用更新的超参数再次训练模型。
5. 遵循此例程，直到模型达到相当高的精度并且损失更少。