我试图确切地了解torch.nn.LayerNorm在做什么,当给定elementwise_affine = True且eps = 1e-5时。
让x为张量,其中x.shape
返回torch.Size([1280])
我想了解以下如何分配y:
self.ln_1 = nn.LayerNorm(1280, eps=1e-05)
y = self.ln_1(x)
上面的代码是否与此等效?
y = (x - torch.mean(x))/((torch.var(x) + 1e-5)**.5)
我尝试了一下,但输出不相等。我怎么了?