我在8核Linux上使用以下代码,它需要所有8个核心(6个工作站中的每一个都占用130%的利用率)
library(mlr); library(parallel); library(parallelMap)
# Load data
iris_num <- iris; iris_num$Species <- as.numeric(iris_num$Species)
#create tasks
traintask <- makeRegrTask(data = iris_num, target = 'Species')
#create learner
lrn = makeLearner('regr.xgboost'); nthread <- min(6, detectCores());
lrn$par.vals = list(print.every.n = 500, objective = "reg:linear", eval_metric="rmse", nthread = nthread)
#set parameter space
params <- makeParamSet(
makeIntegerParam("max_depth",lower = 5L,upper = 20L), # 6
makeNumericParam("min_child_weight",lower = 1L,upper = 20L), # 1
makeNumericParam("subsample",lower = 0.5,upper = 1),
makeNumericParam("colsample_bytree",lower = 0.5,upper = 1),
makeIntegerParam("nrounds",lower=3000,upper=5000),
makeNumericParam("lambda",lower=0.75,upper=1),
makeNumericParam("lambda_bias",lower=0,upper=0.75),
makeNumericParam("gamma",lower=0,upper=1),
makeNumericParam("eta", lower = 0.01, upper = 0.05) # 0.3
)
#set resampling strategy
rdesc <- makeResampleDesc("CV",iters=9L)
#search strategy
ctrl <- makeTuneControlRandom(maxit = 10L)
#set parallel backend
if(Sys.info()['sysname'] == "Linux") {
parallelStartMulticore(cpus = nthread, show.info = T)
} else parallelStartSocket(cpus = nthread, show.info = T)
tune <- tuneParams(learner = lrn, task = traintask,resampling = rdesc,measures = rmse, par.set = params, control = ctrl, show.info = T)
如何确保mlr只占用6个核心
答案 0 :(得分:1)
mlr无法控制学习者在内部做什么 - 如果他们是并行化的,你最终会使用更多核心。为了安全起见,请仅举例说明4核。
答案 1 :(得分:0)
nthread <- min(6, detectCores())
这一行将立即执行,并将始终在8核机器上返回6。您可以在xgboost模型和调优上使用此行。您的6个调优线程中的每一个都将尝试创建一个需要6个线程的xgboost模型。所以你在8核机器上制作36个线程。
我不知道如何让mlr(或任何东西)尊重'未使用'核心的数量。如果你知道你有一台6核机器,我建议你手动分解它。例如,给tuneParams 2个线程,并为每个xgboost模型提供2个线程。由于tuneparams进程将处于空闲状态并等待从xgboost模型中回复,因此您可以为xgboost模型提供3个线程。