使用生成器的火车中RAM内存泄漏的原因

时间:2019-08-23 07:15:21

标签: memory kernel gpu generator cpu

图像文件太大,以至于我们正在使用fit_generator进行训练。我的内存容量为62g,交换内存容量为60g。如果加载用numpy保存的文件,则它将占用20g的大内存。此后,内存使用率逐渐增加。吃了约40克的公羊后,朱皮特笔记本死了。 我在火车上也使用多GPU。 如果我使用小的数据集并训练该数据,则不会增加内存。

这是我的生成器代码

<script src="https://cdnjs.cloudflare.com/ajax/libs/jquery/3.3.1/jquery.min.js"></script>
<div class="slidecontainer">
  <input type="range" min="0" max="100" step="5" value="50" class="slider" id="myRange" >
  <input type="text" id="rangeValue">
</div>
  1. 为什么训练时内存使用量会增加?我正在使用发电机进行批量训练,我不知道为什么它会增加。
  2. 我不知道为什么记忆消失在40克左右。它不使用交换内存。但是,如果使用多个进程,则将使用62g以上的交换内存。

谢谢。

0 个答案:

没有答案