顺序或批量参数估计

Question

这是我应该描述的问题。不幸的是，我研究估算线性回归中参数的唯一一种技术是经典的梯度下降算法。那是“批量”还是“顺序”模式？它们之间有什么区别？

Answer 1

我没想到在这里找到ML考试的问题！嗯，正如詹姆斯·菲利普斯所说，梯度下降是一种迭代方法，所以称为顺序方法。梯度下降只是一种迭代优化算法，用于查找函数的最小值，但您可以使用它来查找“最佳拟合线”。完整的批处理方式将是例如线性最小二乘法一次应用所有方程。你可以找到所有参数来计算误差平方和的偏导数w.r.t.最佳线条拟合并将它们设置为零。当然，正如菲利普斯所说，这不是一种方便的方法，它更像是一种理论定义。希望，这很有用。

Answer 2

来自Liang等。 "A Fast and Accurate Online Sequential Learning Algorithm for Feedforward Networks"：

  

批量学习 通常很耗时，因为它可能涉及训练数据的许多迭代。在大多数应用中，这可能需要几分钟到几小时，并且进一步必须适当选择学习参数（即学习率，学习时期的数量，停止标准和其他预定义参数）以确保收敛。而且，每当接收到新数据时，批处理学习就将过去的数据与新数据一起使用并执行重新训练，从而消耗大量时间。在许多工业应用中，在线 顺序 学习算法比 batch 学习算法更受欢迎，而 每当接收到新数据时，> sequential 学习算法就不需要重新培训。 反向传播（BP）算法及其变体已成为使用加性隐藏节点训练SLFN的基础。要注意的是，BP 基本上是一种 batch 学习算法。 随机梯度下降BP（SGBP）是用于 顺序 学习应用的BP的主要变体之一。

基本上，梯度下降是以批处理方式进行理论化的，但实际上，您可以使用迭代方法。

我认为这个问题并没有要求您展示两种方法（批量和顺序）来估计模型的参数，而是要进行解释-批量或< / em>顺序模式-这样的估算将如何工作。

例如，如果您要估计线性回归模型的参数，则可以仅描述似然最大化，这等效于最小化最小平方误差：

如果要显示顺序模式，可以描述梯度下降算法。