Question

当您运行Keras神经网络模型时，您可能会在控制台中看到类似的内容：

Epoch 1/3
   6/1000 [..............................] - ETA: 7994s - loss: 5111.7661

随着时间的推移，这种损失有望得到改善。我希望随着时间的推移将这些损失记录到文件中，以便我可以从中学习。我试过了：

logging.basicConfig(filename='example.log', filemode='w', level=logging.DEBUG)

但这不起作用。我不确定在这种情况下我需要什么级别的日志记录。

我也尝试过使用像：

这样的回调

def generate_train_batch():
    while 1:
        for i in xrange(0,dset_X.shape[0],3):
            yield dset_X[i:i+3,:,:,:],dset_y[i:i+3,:,:]

class LossHistory(keras.callbacks.Callback):
    def on_train_begin(self, logs={}):
        self.losses = []

    def on_batch_end(self, batch, logs={}):
        self.losses.append(logs.get('loss'))
logloss=LossHistory()
colorize.fit_generator(generate_train_batch(),samples_per_epoch=1000,nb_epoch=3,callbacks=['logloss'])

但显然这不是写入文件。无论采用何种方法，通过回调或记录模块或其他任何方式，我都希望听到您将keras神经网络丢失记录到文件中的解决方案。谢谢！

Answer 1

您可以使用 CSVLogger 回调。

例如：

from keras.callbacks import CSVLogger

csv_logger = CSVLogger('log.csv', append=True, separator=';')
model.fit(X_train, Y_train, callbacks=[csv_logger])

请注意：Keras Callbacks

Answer 2

您的问题有一个简单的解决方案。每次使用任何fit方法时 - 都会返回名为历史回调的特殊回调。它有一个字段history，它是每个纪元后注册的所有指标的字典。因此，要获得每个纪元后的损失函数值列表，您可以轻松完成：

history_callback = model.fit(params...)
loss_history = history_callback.history["loss"]

将此类列表保存到文件很容易（例如，将其转换为numpy数组并使用savetxt方法）。

<强>更新

尝试：

import numpy
numpy_loss_history = numpy.array(loss_history)
numpy.savetxt("loss_history.txt", numpy_loss_history, delimiter=",")

更新2：

在{strong>创建回调段落的Keras Callbacks Documentation中写入每批次后记录亏损问题的解决方案。

Answer 3

老问题，但这里有。 Keras历史输出与pandas DataSet输入完美匹配。

如果您想将整个历史记录放在一行中的csv： pandas.DataFrame(model.fit(...).history).to_csv("history.csv")

干杯

Answer 4

最好是创建一个LambdaCallback：

from keras.callbacks import LambdaCallback

txt_log = open('loss_log.txt', mode='wt', buffering=1)

save_op_callback = LambdaCallback(
  on_epoch_end = lambda epoch, logs: txt_log.write(
    {'epoch': epoch, 'loss': logs['loss']} + '\n'),
  on_train_end = lambda logs: txt_log.close()
)

现在，只需在model.fit函数中添加它：

model.fit(...,callbacks = [save_op_callback])

Answer 5

您可以在model.fit方法之前将sys.stdout对象重定向到文件，并在model.fit方法之后将其重新分配给标准控制台，如下所示：

import sys
oldStdout = sys.stdout
file = open('logFile', 'w')
sys.stdout = file
model.fit(Xtrain, Ytrain)
sys.stdout = oldStdout

Answer 6

因此在TensorFlow 2.0中，获取每个历元的损失和准确性非常容易，因为它返回了一个History对象。其History.history属性记录了连续时期的训练损失值和指标值，以及验证损失值和验证指标值

如果您有验证数据

History = model.fit(trainX,trainY,validation_data = (testX,testY),batch_size= 100, epochs = epochs,verbose = 1)
train_loss = History.history['loss']
val_loss   = History.history['val_loss']
acc = History.history['accuracy']
val_acc = History.history['val_accuracy']

如果您没有验证数据

History = model.fit(trainX,trainY,batch_size= 100, epochs = epochs,verbose = 1)
train_loss = History.history['loss']
acc = History.history['accuracy']

然后使用以下代码将列表数据保存到文本文件中

import numpy as np
train_loss = np.array(loss_history)
np.savetxt("train_loss.txt", train_loss, delimiter=",")

如何将Keras丢失输出记录到文件

6 个答案: