我已经阅读了文档,仍然无法弄清楚torch.nn.LayerNorm在做什么

时间:2019-11-14 03:12:28

标签: normalization torch

我试图确切地了解torch.nn.LayerNorm在做什么,当给定elementwise_affine = True且eps = 1e-5时。

让x为张量,其中x.shape返回torch.Size([1280])

我想了解以下如何分配y:

self.ln_1 = nn.LayerNorm(1280, eps=1e-05)

y = self.ln_1(x)

上面的代码是否与此等效?

y = (x - torch.mean(x))/((torch.var(x) + 1e-5)**.5)

我尝试了一下,但输出不相等。我怎么了?

0 个答案:

没有答案