Question

有没有办法更新dynet中的参数子集？例如，在以下玩具示例中，首先更新h1，然后更新h2：

 model = ParameterCollection()
 h1 = model.add_parameters((hidden_units, dims))
 h2 = model.add_parameters((hidden_units, dims))
 ...
 for x in trainset:
    ...
    loss.scalar_value()
    loss.backward()
    trainer.update(h1)
    renew_cg()

 for x in trainset:
    ...
    loss.scalar_value()
    loss.backward()
    trainer.update(h2)
    renew_cg()

我知道update_subset interface存在于此，并且基于给定的参数索引工作。但是在任何地方都没有记录我们如何在dynet Python中获取参数索引。

Answer 1

解决方案是在为参数（包括查找参数）创建表达式时使用标志update = False：

import dynet as dy
import numpy as np

model = dy.Model()
pW = model.add_parameters((2, 4))
pb = model.add_parameters(2)
trainer = dy.SimpleSGDTrainer(model)

def step(update_b):
    dy.renew_cg()
    x = dy.inputTensor(np.ones(4))
    W = pW.expr()
    # update b?
    b = pb.expr(update = update_b)

    loss = dy.pickneglogsoftmax(W * x + b, 0)
    loss.backward()
    trainer.update()
    # dy.renew_cg()

print(pb.as_array())
print(pW.as_array())
step(True)
print(pb.as_array()) # b updated
print(pW.as_array())
step(False)     
print(pb.as_array()) # b not updated
print(pW.as_array())

对于update_subset，我猜测索引是在参数名称末尾加上后缀的整数（.name()）。 In the doc，我们应该使用get_index函数。
另一个选项是：dy.nobackprop()可防止渐变传播到图表中的某个节点之外。
另一种选择是将不需要更新的参数的渐变归零（.scale_gradient(0)）。

这些方法相当于在更新之前将渐变归零。因此，如果优化程序使用其先前培训步骤（MomentumSGDTrainer，AdamTrainer，...）的动量，则参数仍会更新。

更新dynet中的参数子集

1 个答案: