我无法理解标准化输入和初始权重视频中的3件事情？

Question

在这个视频https://www.udacity.com/course/viewer#!/c-ud730/l-6370362152/m-7119160655中，它讨论了我们的交叉熵函数中的零均值和相等方差我无法理解零均值和方差在哪里。有人能举个例子来解释一下吗？它还讨论了使用正态分布初始化权重，有人可以向我解释如何？最后，它讨论了关于权重和偏差的衍生物，然后减去权重和偏差的值并在循环中移动。你能解释一下吗？我很困惑!!

Answer 1

这些是基本的统计问题：你可以找到很多资源。

快速摘要：

零均值：按

计算数据点的平均值

Sum(data points) / Count(data points)

等方差：计算两个不同数据集的方差，然后将规范化应用于其数据点：

  Each Data Point <- Data Point Value - Mean(data points for that dataset) 
                     -----------------------------
                       Standard Deviation for that dataset

两个数据集的标准偏差/方差将不同。通过将各个数据集中的每个数据点除以其相应的标准偏差，您可以更轻松地获得可比较的结果。

E.g。如果数据集A的方差为25且数据集B的方差为100：则A中的每个数据点除以5，B中的点除以10.这允许交叉熵计算比较相似幅度值。