Question

我正在尝试在具有大量可训练变量的大型网络上运行超参数优化（使用留兰香）。我担心当我尝试一个隐藏单元数太大的网络时，Tensorflow会抛出GPU内存错误。

我想知道是否有办法捕获Tensorflow抛出的GPU内存错误，并跳过导致内存错误的批量超参数。

例如，我想要像

这样的东西

import tensorflow as tf 

dim = [100000,100000]
X   = tf.Variable( tf.truncated_normal( dim, stddev=0.1 ) )

with tf.Session() as sess:
    try:
        tf.global_variables_initializer().run()
    except Exception as e :
        print e

当我尝试上面测试内存错误异常时，代码会中断并只打印GPU内存错误，并且不会进入except块。

Answer 1

尝试一下：

import tensorflow as tf

try:
    with tf.device("gpu:0"):
        a = tf.Variable(tf.ones((10000, 10000)))
        sess = tf.Session()
        sess.run(tf.initialize_all_variables())
except:
    print("Caught error")
    import pdb; pdb.set_trace()

源：https://github.com/Hak333m/stuff/blob/master/gpu_oom.py

Tensorflow GPU内存错误尝试 - 除了没有捕获错误

1 个答案: