per_process_gpu_memory_fraction在tensorflow r1.0中无法正常工作

Question

我想限制每个gpu的内存使用量。正如本answer中所建议的那样，我做如下：

config = tf.ConfigProto(allow_soft_placement=True, gpu_options=tf.GPUOptions(per_process_gpu_memory_fraction=0.9))
saver = tf.train.Saver()
sv = tf.train.Supervisor(logdir=FLAGS.log_root,
                         is_chief=True,
                         saver=saver,
                         summary_op=None,
                         save_summaries_secs=60,
                         save_model_secs=FLAGS.checkpoint_secs,
                         global_step=model.global_step)
sess = sv.prepare_or_wait_for_session(config=config)

但它仍然不起作用（其中一个GPU的GPU-Util达到了100％）。你能告诉我如何解决这个问题吗？提前谢谢！

Answer 1

此post更多地讨论GPU-Util实际意味着什么。

请注意，它不是Volatile GPU-Util。 Volatile实际上属于Volatile Uncorr. ECC。 GPU-Util实际上存在于其自身。

关于你的问题，看到100％GPU-Util是完全正常的。要查看内存是否受限，您应该真正关注Memory-Usage并估算已分配的内容。