尽管训练的批量大小为1,但Tensorflow训练崩溃超过了系统内存的10%

时间:2019-06-18 16:17:39

标签: python tensorflow gpu

训练的批次大小为128/64/32,用于在几个时期后简单地清空GPU内存。 但是,运行随机批处理训练实际上会使程序停留在第一个时期的0%。

    --------------- Epoch 1 ---------------
  0%|                                                                                          | 0/486 [00:00<?, ?it/s]2019-06-18 18:04:58.581233: W T:\src\github\tensorflow\tensorflow\core\framework\allocator.cc:108] Allocation of 1207959552 exceeds 10% of system memory.
2019-06-18 18:04:59.208729: W T:\src\github\tensorflow\tensorflow\core\framework\allocator.cc:108] Allocation of 1207959552 exceeds 10% of system memory.
2019-06-18 18:04:59.827425: W T:\src\github\tensorflow\tensorflow\core\framework\allocator.cc:108] Allocation of 1207959552 exceeds 10% of system memory.
2019-06-18 18:05:00.497830: W T:\src\github\tensorflow\tensorflow\core\framework\allocator.cc:108] Allocation of 1207959552 exceeds 10% of system memory.
2019-06-18 18:05:01.173273: W T:\src\github\tensorflow\tensorflow\core\framework\allocator.cc:108] Allocation of 1207959552 exceeds 10% of system memory.

使用的GPU是GTX 1080,有人对您有见解吗?预先感谢。

1 个答案:

答案 0 :(得分:0)

在我的情况下,在缓冲区填充期间出现此警告。可能是由于数据量,正在使用的神经元数量等。另一个原因可能是CPU RAM内存。检查您有多少内存以及程序在执行时使用了多少内存。如果内存不足,请尝试增加CPU RAM内存。有关更多信息,也许这个issue可能会有所帮助。