Question

我训练了一个包含大量数据的语音模型（使用CNTK），并且需要使其适应低资源语言。由于目标语言中的数据量太小，我决定使用前三层原始模型（作为常量）并在顶部附加两个前馈层。我找不到明确的方法来做到这一点。

为简化起见，假设我的原始模型是：

model1 = Sequential([Recurrence(LSTM(1024, use_peepholes=True)), Dense(40), Recurrence(LSTM(1024, use_peepholes=True)), Dense(256), Dense(num_classes1)])

我需要我的低资源模型：

model2 = Sequential([Recurrence(LSTM(1024, use_peepholes=True)), Dense(40), Recurrence(LSTM(1024, use_peepholes=True)), Dense(128), Dense(num_classes2)])

如何将model1的前三层参数复制到model2作为常量值（在模型2的训练过程中不更新）？

Answer 1

您可以克隆网络并冻结参数。文档可以在这里找到：

https://cntk.ai/pythondocs/graph.html?highlight=clone%20freeze#cntk.ops.functions.CloneMethod

你可以在这里找到例子： https://github.com/Microsoft/CNTK/blob/77154a7f7288d4b119e415039be6471565fceccf/Examples/Image/TransferLearning/TransferLearning.py

将参数复制为常量值？

1 个答案: