Question

我正在for循环中训练8个模型，并将每个tensorboard日志文件保存到一个单独的目录中。文件夹结构就像Graph是我Graph下的图形和目录的主目录，例如net01 net02 ... net08是我正在输出的我的活动档案。通过这样做，我可以用这种花哨的方式在Tensorboard中可视化训练日志，每一个训练过程都有自己的颜色。

我的问题是eventfiles的规模越来越大。第一个事件文件大约是300KB，但第二个事件文件的大小为600KB，第三个是900KB，依此类推。它们各自位于它们自己的单独目录中，并且每个目录都是彼此不同的训练会话，但不知何故，张量板将较早的会话附加到最后一个会话中。最后，我的总大小应该是12 * 300Kb = 3600 KB的会话文件，但我最终得到了10800KB的会话文件。随着网络越来越深，我的会话文件大小就像600 MB一样。很明显我错过了一些东西。

我尝试将最大尺寸的最后一个文件可视化，以检查它是否包含所有以前的训练课程，并且可以画出8个网但是失败了。因此，一大堆无关信息存储在此会话文件中。

我在Win7-64上使用Anaconda3-Spyder。数据库分为8个，每次运行我只剩下一个用于验证，其余用作训练。这是我的代码的简化版本：

from keras.models import Model
from keras.layers import Dense, Flatten, Input, Conv2D, MaxPooling2D
from keras.preprocessing.image import ImageDataGenerator
from keras.callbacks import TensorBoard, ModelCheckpoint, CSVLogger
import os.path
import shutil
import numpy
#  ------------------------------------------------------------------
img_width, img_height = 48, 48
num_folds=8
folds_path= "8fold_folds"
nets_path = "8fold_nets_simplenet" 
csv_logpath = 'simplenet_log.csv'
nets_string = "simplenet_nets0"
nb_epoch = 50
batch_size = 512
cvscores = []
#%%
def foldpath(foldnumber):
    pathbase= os.path.join(folds_path,'F')
    train_data_dir = os.path.join(pathbase+str(foldnumber),"train")
    valid_data_dir = os.path.join(pathbase+str(foldnumber),"test")
    return train_data_dir,valid_data_dir

#%%
for i in range(1, num_folds+1):
    modelpath= os.path.join(nets_path,nets_string+str(i))
    if os.path.exists(modelpath):
        shutil.rmtree(modelpath)
    os.makedirs(modelpath)
    [train_data_dir, valid_data_dir]=foldpath(i)
    img_input = Input(shape=(img_width,img_height,1),name='input')

    x = Conv2D(32, (3,3), activation='relu', padding='same', name='conv1-'+str(i))(img_input)
    x = MaxPooling2D((2, 2), strides=(2, 2), name='pool1-'+str(i))(x)
    x = Conv2D(64, (3,3), activation='relu', padding='same', name='conv2-'+str(i))(x)
    x = MaxPooling2D((2, 2), strides=(2, 2), name='pool2-'+str(i))(x)
    x = Conv2D(128, (3,3), activation='relu', padding='same', name='conv3-'+str(i))(x)
    x = MaxPooling2D((2, 2), strides=(2, 2), name='pool3-'+str(i))(x)
    x = Flatten()(x)
    x = Dense(512, name='dense1-'+str(i))(x)
    #x = Dropout(0.5)(x)
    x = Dense(512, name='dense2-'+str(i))(x)
    #x = Dropout(0.5)(x)
    predictions = Dense(6, activation='softmax', name='predictions-'+str(i))(x)
    model = Model(inputs=img_input, outputs=predictions)
    #  compile model-----------------------------------------------------------
    model.compile(optimizer='Adam', loss='binary_crossentropy', 
                  metrics=['accuracy'])
    #  ----------------------------------------------------------------
    # prepare data augmentation configuration
    train_datagen = ImageDataGenerator(rescale=1./255,
                                       featurewise_std_normalization=True,
                                       featurewise_center=True)
    valid_datagen = ImageDataGenerator(rescale=1./255)
    train_generator = train_datagen.flow_from_directory(
        train_data_dir,
        target_size=(img_width, img_height),
        batch_size=batch_size,
        color_mode='grayscale',
        classes = ['1','3','4','5','6','7'],
        class_mode='categorical',
        shuffle='False'
    )
    validation_generator = valid_datagen.flow_from_directory(
        valid_data_dir,
        target_size=(img_width, img_height),
        batch_size=batch_size,
        color_mode='grayscale',
        classes = ['1','3','4','5','6','7'],
        class_mode='categorical',
        shuffle='False'
    )
    #  --------------------callbacks---------------------------
    csv_logger = CSVLogger(csv_logpath, append=True, separator=';')
    graph_path = os.path.join('Graphs',modelpath)
    os.makedirs(graph_path)
    tensorboard = TensorBoard(log_dir= graph_path, write_graph=True, write_images=False)
    callbacks_list=[csv_logger,tensorboard]

    #  ------------------
    print("Starting to fit the model")

    model.fit_generator(train_generator,
                        steps_per_epoch = train_generator.samples/batch_size,
                        validation_data = validation_generator,
                        validation_steps = validation_generator.samples/batch_size,
                        epochs = nb_epoch, verbose=1, callbacks=callbacks_list)

Answer 1

不确定这个，但我的猜测是它与你在每次循环迭代后存储的图表有关。要检查您的图表是否对此负责，您可以尝试write_graph = False，看看是否仍有相同的问题。为了确保重置图形，您可以尝试使用以下方法清除每次迭代结束时的张量流图：

keras.backend.clear_session()

Answer 2

问题在于，通过对每个模型的训练，下一个模型仍然包含先前训练的所有图形元素。因此，在训练每个模型之前，重置Tensorflow图，然后继续训练。

连续模型培训后，Tensorboard事件文件大小正在增长

2 个答案: