标签： python tensorflow
我正在训练一个模型，将蒸馏损失作为损失函数的一部分，这需要我合并模型先前迭代的预测。据我所知，最简单的方法是定义两个与模型架构相对应的子图，并将先前的权重从“训练”子图加载到“预测”子图，并使用预测子图进行预测在训练“训练”子图时将其输入到蒸馏损失中。我该怎么办？
我尝试为每个培训批次创建两个连续的会话，以便我可以首先加载旧的权重并进行预测，但这会使培训时间增加多个数量级。