优雅地捕获Keras / Tensorflow内存不足（OOM）问题

Question

我目前正在使用带有tensorflow后端的keras在不同的模型上进行一些优化/调整。

不幸的是，在某些设置上，我遇到了一些内存不足的问题，这导致程序停止运行并不断列出内存不足。

有没有一种方法可以捕获此错误，因此我可以记录该错误并使程序继续运行？

实际训练在try / except块内，但这似乎无关紧要。

#train and eval our networks
#this doesn't catch the OOM issues  
try:
    nn.train(x_train, y_train,
                    batch_size=config["batch_size"],
                    epochs=config["max_epochs"],
                    verbose=verbose,
                    callbacks=callbacks,
                    validation_data=(x_test,y_test))
except Exception as e:
    print("Exception on train", e)