Keras fit_generator上的错误，运行的步骤比它应该多了几步

Question

我发现fit_generator()会比应该的步数多出几步 我设置steps_per_epoch=100。 i和k都从0开始。但是在训练过程结束时，它将打印出k = 109。只有在添加验证数据时才会出现这种情况。

def data_generate(xfd, yfd, x_line_offset, y_line_offset):

    while True:
        k = 0

        x_line_offset, y_line_offset = shuffle_list(x_line_offset, y_line_offset)

        for i in range(100):
            print('i = {}'.format(i))
            print('k = {}'.format(k))
            k += 1

            x_train = get_line_by_offset(xfd, x_line_offset[i])
            x_train = rescaling(x_train, 0, 65535, 0, 1)
            y_train = get_line_by_offset(yfd, y_line_offset[i])

            yield x_train, y_train

train_generator = data_generate(xfd_train, yfd_train, x_train_line_offset, y_train_line_offset)
validation_generator = data_generate(xfd_valid, yfd_valid, x_valid_line_offset, y_valid_line_offset)

model.fit_generator(train_generator, steps_per_epoch=100,
                    validation_data=validation_generator,
                    validation_steps=len(fix_y_valid_line_offset), epochs=1)

由于它将打印出k = 109，我认为它会运行更多步骤。我不知道它是不是它的错误。但是keras日志消息在k = 99之后没有显示。

Answer 1

这里没有错误，只是一些实现细节。函数fit_generator()具有默认参数max_queue_size=10。在用于拟合/评估模型之前，train_generator和validation_generator的批次将插入到队列中。

当第一个纪元结束时，产生了100个批次（k = 99）。但是，生成器将继续生成10个批次以填充队列。这就是为什么你看到k = 100到k = 109的原因。同时，验证过程开始，因此您还会看到来自k = 0, ...的{​​{1}}。