使用QSUB和bash文件在Keras上打印培训进度

时间:2018-04-13 03:52:42

标签: python bash tensorflow keras qsub

我可以使用以下bash脚本运行使用Keras / Tensorflow训练模型的python脚本:

#!/bin/bash
#PBS -N Tarea_UNET
#PBS -l nodes=1:ppn=4:gpus=1
cd $PBS_O_WORKDIR
source $ANACONDA3/activate inictel_uni
python U-NET.py

在“U-NET.py”中,训练功能如下:

history=model.fit(train_B,train_A, epochs = 200, batch_size = 20, validation_split=0.052631578, shuffle=True)

问题是我无法想象培训进度,这有助于我监控指标或查看估计的培训时间,我必须等到整个过程结束。 “qstat”只给我运行代码的时间,所以它没用。你有什么想法?

1 个答案:

答案 0 :(得分:1)

一种简单的方法是为Keras提供回调以在适当的时间调用。您可以在此回调中执行所需的任何日志记录,进度报告。

以下是高级文档和一些预先制作的回调:https://keras.io/callbacks/

用法非常简单。您只需将回调列表传递给fit

即可
model.fit(x_train, y_train, ... callbacks=[<your_callbacks>])

请参阅文档末尾的示例。

您可以在此处查看可以覆盖的所有方法:https://github.com/keras-team/keras/blob/adc321b4d7a4e22f6bdb00b404dfe5e23d4887aa/keras/callbacks.py#L146