在模式识别和机器学习中混淆使用渐变

Question

我正在阅读PRML，有时渐变符号似乎非常令人困惑。在第116页的第2章中，它是一个列向量：

在第707页的附录E中，它也是一个列向量： 但是，在第3章中，在推导最小二乘法（第141页）期间，它现在是一个行向量：

有人可以为我澄清这些令人困惑的细节吗？我在网上看过一些帖子，有些人说梯度严格来说是一个列向量，有些人说它取决于正在进行的计算，有些人说这取决于作者，我无法提出有一个确定的答案

Answer 1

答案完全如问题所述 - 渐变是偏导数的向量，但将其视为列/行向量并不重要。人们使用最适合特定用途/推导的方向，同样适用于将数据点放在数据矩阵行/列中，将线性投影定义为列/行向量等。因此，唯一的答案是它取决于特殊用途，您必须始终检查作者使用哪种表示法。这是为什么？因为它并不重要，并且对于某些计算 - 行符号减少了所需的转置操作量，对于某些 - 列符号有帮助。这就是全部。