Question

由于gpu的限制，我想在每两步训练后更新自己的体重。具体地，网络将首先计算第一批输入并节省损失。然后，网络将计算下一批输入，并对这两个损失求平均值，并将一次更新权重。它喜欢caffe中的average_loss op，例如example（）fcn-berkeley。以及如何计算batchnorm update-ops。

Answer 1

请检查this线程以获取有关Caffe average_loss的正确信息。

通过类似

的子类LoggingTensorHook，您应该能够计算平均损失

class MyLoggingTensorHook(tf.train.LoggingTensorHook):

    # set every_n_iter to if you want to average last 2 losses
    def __init__(self, tensors, every_n_iter):
        super().__init__(tensors=tensors, every_n_iter=every_n_iter)

        # keep track of previous losses
        self.losses=[]

    def after_run(self, run_context, run_values):
        _ = run_context

        # assuming you have a tag like 'average_loss'
        # as the name of your loss tensor
        for tag in self._tag_order:
            if 'average_loss' in tag:
                self.losses.append(run_values.results[tag])

        if self._should_trigger:
            self._log_tensors(run_values.results)

        self._iter_count += 1

    def _log_tensors(self, tensor_values):

        original = np.get_printoptions()
        np.set_printoptions(suppress=True)
        logging.info("%s = %s" % ('average_loss', np.mean(self.losses)))
        np.set_printoptions(**original)
        self.losses=[]

并将其附加到估算器的train方法或使用TrainSpec。

您应该能够正常地在每个步骤中计算变量的梯度，但是通过以定义当前迭代或步骤的global_state变量为条件，可以每N步应用它们的梯度（您应该在您的图表，例如global_step = tf.train.get_or_create_global_step()）。请参阅compute_gradients和apply_gradients的用法。

Answer 2

容易，只需使用tf.reduce_mean(input_tensor)

Tf documentation reduce_mean

根据您的情况，它将是：

loss = tf.concat([loss1,loss2], axis=0)

final_loss = tf.reduce_mean(loss, axis=0)

张量流是否提供类似caffe average_loss操作的操作？

2 个答案: