如何在Tensorflow中以不同的学习率训练两个密集层?

时间:2018-09-04 05:17:10

标签: python python-3.x tensorflow deep-learning

我正在尝试在Tensorflow中构建一个多任务CNN,它具有两个并行的密集密集层,一个用于年龄预测,另一个用于性别预测。由于一个层可以先于另一个层收敛,如何训练每个密集层的不同层数,而对于相同数量的层数进行训练都将使它们中的一个过拟合?

此外,如果我将年龄和性别的梯度都传播到CNN,由于其权重以密集层的两倍的速度进行更新,它是否会过拟合?

1 个答案:

答案 0 :(得分:1)

我问了一个类似的问题,我终于找到了答案:LINK

解决方案:您可以定义 2个不同的train_step ,并且每个培训都有自己的学习率。每个train_step可以调用一次选定的次数。此外,如果希望某些变量仅对选定的train_step可训练,则可以定义一些依赖项。 (请参见documentation)。