Tensorflow中的多维梯度下降

Question

将Gradient下降优化器应用于不是数字（大小为1的张量）而是向量（大小为2、3、4的一维张量）的Tensorflow的真正作用是，或更多）？

就像对分量的总和进行下降一样吗？

Answer 1

第二个问题的答案为“否”。

对于第二个：就像在一维情况下（例如y = f（x），R中的x）一样，算法采用的方向由函数相对于其单个变量的导数定义，在多维情况下，“总体”方向由函数相对于每个变量的导数定义。

这意味着您将沿每个方向执行的步长由与该方向相对应的变量的导数值决定。

由于无法在StackOverflow中正确键入数学，因此建议您仔细阅读一下article。

Answer 2

Tensorflow首先将损失减少到标量，然后对其进行优化。