TensorFlow：跨多台机器进行培训时，数据并行性端点的目的是什么？

Question

在TensorFlow-slim源代码中，在创建其丢失函数时指示了一个端点：

def clone_fn(batch_queue):
  """Allows data parallelism by creating multiple clones of network_fn."""
  images, labels = batch_queue.dequeue()
  logits, end_points = network_fn(images)

  #############################
  # Specify the loss function #
  #############################
  if 'AuxLogits' in end_points:
    slim.losses.softmax_cross_entropy(
        end_points['AuxLogits'], labels,
        label_smoothing=FLAGS.label_smoothing, weight=0.4, scope='aux_loss')
  slim.losses.softmax_cross_entropy(
      logits, labels, label_smoothing=FLAGS.label_smoothing, weight=1.0)
  return end_points

来源：https://github.com/tensorflow/models/blob/master/slim/train_image_classifier.py#L471-L477

我的想法是，有多个相同的网络在不同的机器上训练，并且变量和参数最终被平均以合并到一个网络中（这是正确的吗？）。但在这种情况下，我还没有完全了解端点的用途，因为我认为network_fn应该只生成预测的logits。什么是end_points的使用？

Answer 1

在这种情况下，endpoints只跟踪模型的不同输出。例如，AuxLogits具有logits。