Question

为防止教练在MxNet中更改某些重量而建议采取的操作是什么？

据我所知，如果我想保护TenserFlow中的某些权重，则应防止将它们传递给优化器。因此，我在MxNet中使用以下代码进行相同的操作。

all_params = net.collect_params()

 while True:

    firstKey = next(iter(all_params._params))

    if 'resnet' not in firstKey:

        break

    all_params._params.popitem(last = False)
trainer = mx.gluon.Trainer(all_params,'sgd')

变量all_params._params属于一种罕见的类型，称为OrderedDict。我认为这意味着该词典中的顺序非常重要。我不应该改变顺序。如上所示，我只能从网络的开头删除一些参数。这很不方便。 “参数”开头会出现“下划线_”，这意味着一般用户不应付费。

我没有收到任何错误，但我怀疑这不是建议的操作。

Answer 1

据我了解，您想冻结一些图层（因此在训练过程中它们的参数保持不变），并且您正在使用Gluon。

在这种情况下，可以将grad_req属性设置为'null'（它是一个字符串）以防止更改此参数。这是例子。我定义了一组要冻结的参数名称，并在创建模型后但在初始化之前将其冻结。

num_hidden = 10
net = gluon.nn.Sequential()
with net.name_scope():
    net.add(gluon.nn.Dense(num_hidden, activation="relu"))
    net.add(gluon.nn.Dense(num_hidden, activation="relu"))
    net.add(gluon.nn.Dense(num_outputs))

layers_to_freeze = set(['sequential1_dense0_weight', 'sequential1_dense0_bias', 'sequential1_dense1_weight', 'sequential1_dense1_bias'])    

for p in net.collect_params().items():
    if p[0] in layers_to_freeze:
        p[1].grad_req = 'null'

net.collect_params().initialize(mx.init.Xavier(magnitude=2.24), ctx=ctx)

如果您进行训练，则这些参数不应更改。您可以通过在循环中打印p[0]来找到参数的名称。

为了保护教练员在MxNet中更改一些重量，建议采取什么操作？

1 个答案: