TF-Slim :(不合理？）内存不足

Question

我正在尝试运行TF SLIM中的一个教程，即使用Inception-V3（~104Mb）微调花朵数据集的教程。 GPU拥有大约2Gb的内存。当我的批量大于8时，我收到错误，因为GPU内存不足。事实上，我似乎收到了几条消息，每条消息看起来像：

W tensorflow/core/common_runtime/bfc_allocator.cc:217] Ran out of memory trying to allocate 646.50MiB. The caller indicates that this is not a failure, but may mean that there could be performance gains if more memory is available.

和

W tensorflow/core/common_runtime/bfc_allocator.cc:274]     **************************************x*************************************************************
W tensorflow/core/common_runtime/bfc_allocator.cc:275] Ran out of memory trying to allocate 168.8KiB.  See logs for memory state.

现在，很可能我的GPU没有足够大的RAM。但是，2GB似乎足以加载~100Mb的型号。此外，有了Caffe，我可以毫无问题地微调Alexnet（~400Mb）。此外，我还试图通过

允许GPU增长（根据我的理解使用系统的RAM）

session_config = tf.ConfigProto(allow_soft_placement=True)
session_config.gpu_options.allow_growth = True
session_config.gpu_options.allocator_type = 'BFC'"

但它似乎没有帮助。

你知道吗

a）我做错了什么 b）GPU还不够大 c）TF Slim通过构造消耗过多的内存

谢谢，

Answer 1

其他一些进程是否可以使用足够的GPU内存来进行张量流动？我相信nvidia-smi会告诉你已经使用了多少GPU内存。

如果情况并非如此，您可能需要查看分配以查看发生的情况。请参阅this other question on how to log allocations from tensorflow。