我正在微调深层网络,它由两部分组成:顶部预先训练的初始残留网络和底部新的随机初始化层。我正在使用 optimize_loss 函数形式contrib.layers
模块进行培训。它还提供了权重或梯度分布的汇总集合,但对整个网络来说这是非常慢的。
是否可以通过此功能从我在单独名称范围内的新添加的图层中收集这些摘要?
optimize = layers.optimize_loss(loss = self.loss_err,
global_step = self.global_step,
learning_rate = 0.001,
summaries = layers.optimizers.OPTIMIZER_SUMMARIES,
optimizer = optimizer,
clip_gradients = 2)