我对找到重量的一般理解是否正确?

时间:2017-01-29 00:01:15

标签: machine-learning deep-learning mathematical-optimization logistic-regression

我开始学习深度学习课程。我试图做一个例子,以便向我自己解释如何在数学上找到权重。 如果我下面写的是无稽之谈,我会很高兴听到解释。感谢。

因此,对于给定的图像,我们执行 WX + b 。我们得到一些向量 Y ,然后根据enter image description here将它与所需的标签向量 L 进行比较。我假设我们用" 余弦相似度"计算 D 。为简单起见, S(Y)== Y 。所以我们要做的就是计算enter image description here所以它将是一个。 假设我们有字母“a”enter image description here和两个标签(“a”,“b”)的图像 X 。然后是enter image description here。我们想要计算 W b ,我们将获得这样的向量enter image description here,当我们将其插入enter image description here时,我们将获得零。我们将 X 转换为向量enter image description here。由于我们有2个标签, X 的大小为9, W b 如下:enter image description here。所以,我们得到:enter image description here。这为我们提供了以下方程组:enter image description here。所以,现在我们需要解决以下enter image description here

如果我上面写的不是胡说八道,我不太清楚在哪里找到最低限度?

1 个答案:

答案 0 :(得分:0)

在深度学习中,最小化意味着最小化交叉熵函数。交叉熵象征着"损失"的网络。因此,我们尝试通过改变网络的权重和偏差来产生最小化交叉熵损失的输出。因此,我们最小化D(S,L)。