所以我有一个模型,它是A> B> C,其中B是自回归的,但不是RNN。我很难正确制定自回归策略。问题来自培训和评估。
第一个目标是训练A> B,因为我已经接受过C训练,并且是B的目标。这在训练中没有问题,因为我使用的是强制性教师训练。然后的问题是,在评估时,模型需要处理推理。我认为有两种选择:
使用feed_dict重复运行会话,并以某种方式缓存从A传递到B的计算结果。注意:该模型使用了数据集API,但我认为feed_dict对于自回归(?)是必需的。
重复B层以进行推断。这样就形成了一个更大的模型,但是对于evalaution模型的代码只需要多五行。
此外,目标是使用完整的A> B> C模型进行迁移学习。我认为这可能迫使我只能通过模型进行有限的反向传播,以进行额外的训练。
我是否错过了进行这种迭代计算的技巧?两种方法看起来都很不雅致。