如何在XGBoost中释放GPU上的所有内存?

时间:2019-05-24 19:44:46

标签: python gpu xgboost

这是我的代码:

clf = xgb.XGBClassifier(
  tree_method = 'gpu_hist',
  gpu_id = 0,
  n_gpus = 4,
  random_state = 55,
  n_jobs = -1
)
clf.set_params(**params)
clf.fit(X_train, y_train, **fit_params)

我已经阅读了this question和这个git issue的答案,但都没有用。

我试图通过这种方式删除助推器:

clf._Booster.__del__()
gc.collect()

它删除了增强器,但没有完全释放GPU内存。

我想仍然是Dmatrix,但我不确定。

如何释放整个内存?

1 个答案:

答案 0 :(得分:0)

好吧,我认为您无法通过某种方式访问​​已加载的Dmatrix,因为fit函数不会返回它。 您可以检查源代码here on this github link

所以我认为最好的方法是将其包装在Process中并以这种方式运行,如下所示:

from multiprocessing import Process

def fitting(args):
    clf = xgb.XGBClassifier(tree_method = 'gpu_hist',gpu_id = 0,n_gpus = 4, random_state = 55,n_jobs = -1)
    clf.set_params(**params)
    clf.fit(X_train, y_train, **fit_params)

    #save the model here on the disk

fitting_process = Process(target=fitting, args=(args))
fitting process.start()
fitting_process.join()

# load the model from the disk here