Question

我有一个深入的模型来训练CIFAR-10。训练在CPU中运行良好。但是，当我使用GPU支持时，它会导致某些批次的渐变为NaN（我使用tf.check_numerics检查它）并且它会随机发生但足够早。我相信这个问题与我的GPU有关。

我的问题是：如果至少有一个渐变具有NaN并强制模型继续进行下一批操作，那么不会更新吗？

编辑：也许我应该详细说明我的问题。

这是我应用渐变的方式：

with tf.control_dependencies([tf.check_numerics(grad, message='Gradient %s check failed, possible NaNs' % var.name) for grad, var in grads]):
# Apply the gradients to adjust the shared variables.
  apply_gradient_op = opt.apply_gradients(grads, global_step=global_step)

我想先用tf.check_numerics验证渐变中是否有Nans，然后，如果有Nans（检查失败）我可以＆＃34;传递＆＃34;不使用opt.apply_gradients。但是，有没有办法用tf.control_dependencies来捕捉错误？

Answer 1

我可以弄明白，尽管不是最优雅的方式。我的解决方案如下： 1）首先检查所有渐变 2）如果梯度是无NaNs，则应用它们 3）否则，应用虚假更新（零值），这需要渐变覆盖。

这是我的代码：

首先定义自定义渐变：

@tf.RegisterGradient("ZeroGrad")
def _zero_grad(unused_op, grad):
  return tf.zeros_like(grad)

然后定义一个异常处理函数：

#this is added for gradient check of NaNs
def check_numerics_with_exception(grad, var):
  try:
   tf.check_numerics(grad, message='Gradient %s check failed, possible NaNs' % var.name)
  except:
    return tf.constant(False, shape=())
  else:
    return tf.constant(True, shape=())

然后创建条件节点：

num_nans_grads = tf.Variable(1.0, name='num_nans_grads')
check_all_numeric_op = tf.reduce_sum(tf.cast(tf.stack([tf.logical_not(check_numerics_with_exception(grad, var)) for grad, var in grads]), dtype=tf.float32))

with tf.control_dependencies([tf.assign(num_nans_grads, check_all_numeric_op)]):
# Apply the gradients to adjust the shared variables.
  def fn_true_apply_grad(grads, global_step):
    apply_gradients_true = opt.apply_gradients(grads, global_step=global_step)
    return apply_gradients_true

  def fn_false_ignore_grad(grads, global_step):
   #print('batch update ignored due to nans, fake update is applied')
   g = tf.get_default_graph()
   with g.gradient_override_map({"Identity": "ZeroGrad"}):
     for (grad, var) in grads:
       tf.assign(var, tf.identity(var, name="Identity"))
       apply_gradients_false = opt.apply_gradients(grads, global_step=global_step)
   return apply_gradients_false

  apply_gradient_op = tf.cond(tf.equal(num_nans_grads, 0.), lambda : fn_true_apply_grad(grads, global_step), lambda :  fn_false_ignore_grad(grads, global_step))

Tensorflow：如果渐变是Nan，则不要更新

1 个答案: