Gridsearch n_jobs = -1和RandomForestRegressor n_jobs = -1没有正确使用loky worker

时间:2019-05-02 21:59:19

标签: python scikit-learn random-forest joblib gridsearchcv

当前,我从model.py

运行以下代码
model = RandomForestRegressor(n_estimators=1000, random_state=42, 
n_jobs=-1, criterion='mse')
print('gs start')
# run grid search
grid_search = GridSearchCV(model,
                           param_grid=param_grid,
                           cv=5,
                           scoring='neg_mean_squared_error',
                           verbose=True,
                           n_jobs=-1,
                           refit=True)

使用命令nohup python -u model.py &

然后使用top -c监视该过程。

使用部分数据启动流程后,我可以看到所有工作程序都在运行,但是如果我尝试使用我的600万观察值,则该流程 输出[Parallel(n_jobs=-1)]: Using backend LokyBackend with 128 concurrent workers.

从多个工作程序开始,然后过一会儿仅使用1个内核。如果我仅使用〜200k观测值,则该过程将使用所有核心。为什么大型数据集不能使用所有核心?

0 个答案:

没有答案