随机梯度下降基本上是批量大小= 1并选择随机训练行的小批量训练的名称吗？即它与正常＆＃39;相同。梯度下降，它只是提供训练数据的方式产生差异？
让我感到困惑的一件事是我看到有人说，即使使用SGD，您也可以提供超过1个数据点，并且批量更大，所以不会让它变得正常＆＃39;正常＆ ＃39;小批量梯度下降？
答案 0 :(得分：2)
关于优化术语
如您所述，一次只使用一个示例的优化算法有时称为随机。使用整个训练集的优化算法称为批次或确定性梯度方法。
大多数用于深度学习的算法介于两者之间，使用多个但少于所有训练样例。这些传统上称为minibatch或 minibatch随机方法，现在通常称它们为随机方法。
希望使术语更清晰：