使用旧模型进行预测而不会丢失当前模型

Question

我正在训练一个可以逐步学习新课程的模型，例如在前70个左右的时期内，先输入n个目标类别，然后是原始的n个类别，再加上m个新的目标类别，等等。当在n + m个目标类别上训练模型时，损失函数需要根据在n个目标类别上训练的模型进行预测。如何有效恢复旧模型？

看来我可以通过为每个批次创建两个单独的会话并在一个旧模型中加载旧模型然后再在另一个模型中进行训练来做到这一点，但这效率极低，并且使培训从数小时到数天不等。

Answer 1

是否可以使用砝码来做到这一点？ 将目标的权重设置为1，将非目标的权重设置为0

首先，将重量张量设置为[1]*n + [0]*m（在concat中为+）。 然后，当您想添加新目标时，将其分配给[1]*(n+m) 等等。