在Tensorflow中微调深度神经网络

Question

我想在Tensorflow中对预训练的深度神经网络进行部分微调（例如，为所有层加载权重，但只更新更高层次的权重）。

Tensorflow中是否有任何方法可以选择应该更改的变量和应该保持相同的变量？

提前谢谢！

Answer 1

当您创建优化程序（例如tf.train.AdagradOptimizer）来训练模型时，您可以将明确的var_list=[...]参数传递给Optimizer.minimize()方法。 （如果您没有指定此列表，则默认包含tf.trainable_variables()中的所有变量。）

例如，根据您的模型，您可以使用变量名称来定义要优化的变量列表：

# Assuming all variables to be fine-tuned have a name that starts with
# "layer17/".
opt_vars = [v for v in tf.trainable_variables() if v.name.startswith("layer17/")]

train_op = optimizer.minimize(loss, var_list=opt_vars)