Question

我目前正在尝试使用MXNet R API设置前馈NN。我想实现一个自定义丢失函数，它使用我自己定义的预定权重为c（7,8,9）。在Tensorflow中，可以选择将变量定义为不可训练的变量，以确保在训练过程中不会修改这些变量。这正是我的体重所需要的！不幸的是，我还没有找到任何实现方法。这是我的代码：

data <- mx.symbol.Variable('data')
label <- mx.symbol.Variable('label')
weights <- mx.symbol.Variable(name='weights')

... [some network layers]...

fc2 <- mx.symbol.FullyConnected(data=tanh3, num_hidden=length(predictable_errors))
softmax <- mx.symbol.SoftmaxActivation(data=fc2, name="softmax_activation")
weighted_l2 <- mx.symbol.sum(mx.symbol.square(softmax - label)*weights)
loss <- mx.symbol.MakeLoss(data=weighted_l2)

model <- mx.model.FeedForward.create(loss, X=train.x, y=train.y, ctx=mx.cpu(), arg.params = list(weights=mx.nd.array( array(c(7,8,9), dim=c(3,1)), mx.cpu() )), num.round=1, learning.rate=0.05, momentum=0.9, array.batch.size = 1, eval.metric=mx.metric.accuracy, epoch.end.callback=mx.callback.log.train.metric(1))

我知道Python API提供了函数set_lr_mult，我可以用“权重”将学习速率设置为零，但是使用R这似乎不是一个选项。你有什么建议吗？

非常感谢adavance！

Answer 1

您可以使用Module而不是FeedForward来执行此操作，当您使用模块时，您可以传递您不想训练的固定参数。

model <- mx.mod.Module(loss, data_names, label_names, ctx=mx.cpu(),
                            fixed_param_names=[list of parameters you do not want to train for])

您可以阅读更多here

在MXNet中定义不可训练的变量

1 个答案: