在神经网络中更新权重向量的正确方法是什么？

Question

我不知道如何在神经网络反向传播中更新权重。我训练18个元组数据。什么时候应该更新重量？在计算所有元组或计算一个元组之后？ 请帮我。提前谢谢。

Answer 1

这取决于。在数学模型（包括神经网络）中学习权重有两种方法，具有可区分的[经验]成本和内部函数。两种方法都依赖于计算关于权重的成本函数的梯度。第一种方法称为完整批次，第二种方法称为小批量或随机梯度下降（SGD）。但是，对于这两种方法，可以采用成本函数的衍生单个示例（在您的情况下为元组）仅相对于一个权重并更新该权重，但不建议这样做，因为权重更新过程可以并行完成。所以我的建议是使用SGD并同时更新权重。

<强>来源

  

  
• Stochastic Gradient Descent
  
• Batch Learning
  
• Learning Weights in Neural Networks