我可以使用以下bash脚本运行使用Keras / Tensorflow训练模型的python脚本:
#!/bin/bash
#PBS -N Tarea_UNET
#PBS -l nodes=1:ppn=4:gpus=1
cd $PBS_O_WORKDIR
source $ANACONDA3/activate inictel_uni
python U-NET.py
在“U-NET.py”中,训练功能如下:
history=model.fit(train_B,train_A, epochs = 200, batch_size = 20, validation_split=0.052631578, shuffle=True)
问题是我无法想象培训进度,这有助于我监控指标或查看估计的培训时间,我必须等到整个过程结束。 “qstat”只给我运行代码的时间,所以它没用。你有什么想法?
答案 0 :(得分:1)
一种简单的方法是为Keras提供回调以在适当的时间调用。您可以在此回调中执行所需的任何日志记录,进度报告。
以下是高级文档和一些预先制作的回调:https://keras.io/callbacks/
用法非常简单。您只需将回调列表传递给fit
model.fit(x_train, y_train, ... callbacks=[<your_callbacks>])
请参阅文档末尾的示例。
您可以在此处查看可以覆盖的所有方法:https://github.com/keras-team/keras/blob/adc321b4d7a4e22f6bdb00b404dfe5e23d4887aa/keras/callbacks.py#L146