Question

当我在GPU上运行以下代码时，它可以很好地训练一些epoches然后挂起。虽然挂起的进程仍然存在，但GPU使用率变为0％。在下面的代码中，我使用的是tf.contrib.data.Dataset中的Dataset API。但我也尝试使用占位符和饲料字典方法，这种方法在培训期间随机时代也会挂起。过去2-3周我一直在努力解决这个问题，但无法找到出路。我正在远程GPU集群上运行代码。以下是有关群集节点的一些信息，使用tensorflow gpu 1.4版

NodeName = node050 Arch = x86_64 CoresPerSocket = 1 CPUAlloc = 0   CPUErr = 0 CPUTot = 24 CPULoad = 12.03特性= Proc24，GPU4 Gres = gpu：4
  NodeAddr = node050 NodeHostName = node050 Version = 15.08 OS = Linux   RealMemory = 129088 AllocMem = 0 FreeMem = 125664 Sockets = 24 Boards = 1
  State = IDLE ThreadsPerCore = 1 TmpDisk = 0 Weight = 1 Owner = N / A
  BootTime = 2017-11-07T08:20:00 SlurmdStartTime = 2017-11-07T08：24：06
  CapWatts = n / a CurrentWatts = 0 LowestJoules = 0 ConsumedJoules = 0
  ExtSensorsJoules = n / s ExtSensorsWatts = 0 ExtSensorsTemp = n / s

CODE

dat_split = np.load('data/dat_split2.npy')
X_train = dat_split[0].astype(np.float32)
X_test = dat_split[1].astype(np.float32)
y_train = dat_split[2].astype(np.int32)
y_test = dat_split[3].astype(np.int32)

num_epochs = 100


train_data_len = X_train.shape[0]
test_data_len = X_test.shape[0]
num_joints = len(considered_joints)
num_classes = len(classes)


############ taking batch_size even data##########
even_train_len = (train_data_len//batch_size)*batch_size
even_test_len = (test_data_len//batch_size)*batch_size

X_train = X_train[:even_train_len]
X_test = X_test[:even_test_len]
y_train = y_train[:even_train_len]
y_test = y_test[:even_test_len]


train_dat = Dataset.from_tensor_slices((X_train, y_train))
train_dat = train_dat.batch(batch_size)

test_dat  = Dataset.from_tensor_slices((X_test, y_test))
test_dat = test_dat.batch(batch_size)

iterator = Iterator.from_structure(train_dat.output_types, train_dat.output_shapes)

trainig_iterator_init = iterator.make_initializer(train_dat)
test_iterator_init = iterator.make_initializer(test_dat)

if __name__ == '__main__':

    global_cell = GlobalLSTM(num_units=num_units_each_cell, num_joints=num_joints)   #GlobalLSTM is a subtype of RNNCell
    next_element = iterator.get_next()
    X_loaded2, Y_loaded = next_element
    X_loaded = tf.where(tf.is_nan(X_loaded2), tf.zeros_like(X_loaded2), X_loaded2)

    init_state = global_cell.zero_state((batch_size), tf.float32)
    rnn_ops, rnn_state = tf.nn.dynamic_rnn(global_cell, X_loaded, dtype=tf.float32)

    with tf.variable_scope('softmax__'):
        W = tf.get_variable('W', [(num_joints)*num_units_each_cell, num_classes], initializer=tf.truncated_normal_initializer(0.0, 1.0))
        b = tf.get_variable('b', [num_classes], initializer=tf.truncated_normal_initializer(0.0, 1.0))



    final_logits = tf.matmul(rnn_state[1], W) + b       # taking h state of rnn 
    with tf.name_scope("loss_comp"):
        total_loss = tf.reduce_mean(tf.nn.softmax_cross_entropy_with_logits(logits=final_logits, labels=tf.one_hot(Y_loaded, num_classes)))
    with tf.name_scope("train_step"):
        train_step = tf.train.AdamOptimizer(learning_rate).minimize(total_loss)

    with tf.name_scope("pred_accu"):
        predictions = tf.nn.softmax(final_logits)
        pred2 = tf.reshape(tf.argmax(predictions, 1), [-1, 1])
        correct_pred = tf.equal(pred2, tf.cast(Y_loaded, tf.int64))
        accuracy_ = tf.reduce_mean(tf.cast(correct_pred, tf.float32))



    with tf.Session() as sess:
        sess.run(tf.global_variables_initializer())

        tic = time.clock()    
        for step in range(num_epochs):
            sess.run(trainig_iterator_init)
            batch_cnt = train_data_len//batch_size
            epch_loss = 0.0
            epch_acc = 0.0
            for bt in range(batch_cnt):
                _, loss_, acc = sess.run([train_step, total_loss, accuracy_])
                epch_loss += loss_
                epch_acc += acc
            print ('loss after epoch, ', step,': ', epch_loss/batch_cnt, ' ## accuracy : ', epch_acc/batch_cnt)

        print ("optimization finished, time required: ", time.clock()-tic)


        #############test accuracy##############
        batch_cnt = test_data_len//batch_size
        sess.run(test_iterator_init)
        print ('testing accuracy on test data : batch number', batch_cnt)
        epch_acc = 0.0
        for bt in range(batch_cnt):
            acc = sess.run(accuracy_)
            epch_acc += acc
        print ('testing accuracy : ', epch_acc/batch_cnt)

以下是不同挂片的屏幕截图， 搁置了一个时代 hanged_epc GPU使用时间 hanged 运行时的GPU使用率（未挂起） running_gpuusage 在另一个eopch上绞死 hanged2

这种类型的随机悬挂行为会在每次运行时不断重复。每次它都挂在一个随机的时代。这就是为什么我无法弄清楚出了什么问题的原因。通过查看代码或其他设置可以任何人请让我知道出了什么问题或如何调试这个？谢谢

Answer 1

我有同样的问题。 GPU挂起后，一个CPU核心将100％。我认为这是一个关于锁的问题。检查了tensorflow gpu_event_mgr.cc的代码。 “queue_empty”没有受到mutex_lock的保护，所以CPU会挂在这里而无法向GPU发送数据。

最佳解决方案是tensorflow的问题。我的临时解决方案是在Session的ConfigProto中设置 gpu_options.polling_inactive_delay_msecs = 10（默认值为1）或更大的数字。这将使CPU在队列为空时等待更多时间并填充将发送到GPU的更多数据。它会防止死锁。这个解决方案只是降低了GPU挂起的概率，并不是最终的解决方案。它使我的深度训练可以在大多数时间内完成。具有较差CPU的强大GPU的概率会更高。

Answer 2

我解决了以下类似问题：

我在带有GTX 1080 Ti GPU，Python 3.7和最新版本的tensorflow-gpu 2.1的虚拟设备上运行了代码。我有一个星期的同样问题。这些解决方案和变通办法似乎都不适合我。

我将我的 tensorflow-gpu 降级了。我还必须降级我的Python，因为tensorflow-gpu 1. *版本在Python 3.7上不起作用。

Python 从3.7到 3.6
Tensorflow-gpu 从2.1到 1.12

当然，我必须更改部分代码以与旧版本的tensorflow-gpu兼容，但是它摆脱了GPU挂起的问题。

Answer 3

在这里相同，但是我不认为它是TF，因为我在Pytorch中也观察到完全相同的行为。开启：

不同的Ubuntu
不同的GPU卡
不同的Python版本
但是Cuda 10.1

Answer 4

始终需要与CUDA内存具有相同或更多的RAM内存。

尝试签出num_workers

Answer 5

Halo9Pan 的回答很棒，让我走上了正确的道路。我添加了代码

configproto = tf.compat.v1.ConfigProto() 
configproto.gpu_options.allow_growth = True
configproto.gpu_options.polling_inactive_delay_msecs = 10
sess = tf.compat.v1.Session(config=configproto) 
tf.compat.v1.keras.backend.set_session(sess)

到我的网络的开头，如 this question 中所述。这为我解决了这个问题。

Tensorflow会随机停止训练并挂在GPU上

5 个答案: