这是我的代码:
clf = xgb.XGBClassifier(
tree_method = 'gpu_hist',
gpu_id = 0,
n_gpus = 4,
random_state = 55,
n_jobs = -1
)
clf.set_params(**params)
clf.fit(X_train, y_train, **fit_params)
我已经阅读了this question和这个git issue的答案,但都没有用。
我试图通过这种方式删除助推器:
clf._Booster.__del__()
gc.collect()
它删除了增强器,但没有完全释放GPU内存。
我想仍然是Dmatrix
,但我不确定。
如何释放整个内存?
答案 0 :(得分:0)
好吧,我认为您无法通过某种方式访问已加载的Dmatrix,因为fit
函数不会返回它。
您可以检查源代码here on this github link:
所以我认为最好的方法是将其包装在Process中并以这种方式运行,如下所示:
from multiprocessing import Process
def fitting(args):
clf = xgb.XGBClassifier(tree_method = 'gpu_hist',gpu_id = 0,n_gpus = 4, random_state = 55,n_jobs = -1)
clf.set_params(**params)
clf.fit(X_train, y_train, **fit_params)
#save the model here on the disk
fitting_process = Process(target=fitting, args=(args))
fitting process.start()
fitting_process.join()
# load the model from the disk here