pytorch CNN“ CUDA内存不足”

Question

好的，我知道在stackoverflow上有很多“ CUDA内存不足”问题，但是这些问题没有帮助，所以我要问自己的问题：

我可以在本地计算机上的CUDA上成功训练pytorch CNN，但是当我进行预测时，我总是会用尽CUDA内存。然后，我保存模型，重新启动内核，加载模型，然后进行批量预测。但是即使那样，我有时还是达到了内存极限，不得不缩小我的预测批次。

这是我的预测代码：

$.ajax({  
        url:<?php echo base_url('search'); ?>,
        type: 'post',
        dataType:'json',
        data:{query:query},
        success:function(data){
           var result = JSON.parse(data);
            $("input[name='csrf_test_name']").val(result['csrf']);
        }  
    });