Question

假设我有一个nn.Sequential块，它有2个线性层。我想通过均匀分布来初始化第一层的权重，但想将第二层的权重初始化为常数2.0。

net = nn.Sequential()
net.add_module('Linear_1', nn.Linear(2, 5, bias = False))
net.add_module('Linear_2', nn.Linear(5, 5, bias = False)

Answer 1

这里是这样做的一种方式：

import torch
import torch.nn as nn 

net = nn.Sequential()

ll1 = nn.Linear(2, 5, bias = False)
torch.nn.init.uniform_(ll1.weight, a=0, b=1) # a: lower_bound, b: upper_bound
net.add_module('Linear_1', ll1)
print(ll1.weight)

ll2 = nn.Linear(5, 5, bias = False)
torch.nn.init.constant_(ll2.weight, 2.0)
net.add_module('Linear_2', ll2)
print(ll2.weight)

print(net)

输出：

Parameter containing:
tensor([[0.2549, 0.7823],
        [0.3439, 0.4721],
        [0.0709, 0.6447],
        [0.3969, 0.7849],
        [0.7631, 0.5465]], requires_grad=True)

Parameter containing:
tensor([[2., 2., 2., 2., 2.],
        [2., 2., 2., 2., 2.],
        [2., 2., 2., 2., 2.],
        [2., 2., 2., 2., 2.],
        [2., 2., 2., 2., 2.]], requires_grad=True)

Sequential(
(Linear_1): Linear(in_features=2, out_features=5, bias=False)
(Linear_2): Linear(in_features=5, out_features=5, bias=False)
)

Answer 2

定义模块后，您可以通过以下方式进行操作：

torch.nn.init.constant_(net.Linear_1.weight, 0.0)
torch.nn.init.xavier_normal_(net.Linear_2.weight)

用于使用不同类型的初始化来初始化不同的层。

如何在pytorch中初始化不同样式的nn.Sequence块的不同层的权重？

2 个答案: