为什么在张量流中实施的监督学习中会出现周期性的标签丢失识别训练模式？

Question

在Tensorflow中使用AdamOptimzer遇到了标签分类问题中火车损失的怪异周期性模式。

如图所示，列车损失随每个时期的突然下降而略有增加。可能的原因是什么？

AdamOptimizer用于预热+多项式衰减学习率。

opt = tf.train.AdamOptimizer(learning_rate=learning_rate, epsilon=0.00001)
train_op = opt.optimize(cross_entropy_loss, lr)

数据管道如下所述。

# data pipeline
dataset = tf.data.Dataset.list_files(tfrecords_names)

# shuffle filenames
dataset = dataset.shuffle(buffer_size=config.num_parallel_readers)

# repeat filename lists
dataset = dataset.repeat(config.epoch)

dataset = dataset.interleave(tf.data.TFRecordDataset,
                                cycle_length=config.num_parallel_readers)

# parse samples
dataset = dataset.map(map_func=parse_record,
                        num_parallel_calls=config.num_parallel_calls)

# prefetch samples
dataset = dataset.prefetch(buffer_size=config.prefetch_buffer_size)

# shuffle samples
dataset = dataset.shuffle(buffer_size=config.shuffle_buffer_size)

# make a batch
dataset = dataset.batch(config.batch_size)