当前,我从model.py
model = RandomForestRegressor(n_estimators=1000, random_state=42,
n_jobs=-1, criterion='mse')
print('gs start')
# run grid search
grid_search = GridSearchCV(model,
param_grid=param_grid,
cv=5,
scoring='neg_mean_squared_error',
verbose=True,
n_jobs=-1,
refit=True)
使用命令nohup python -u model.py &
然后使用top -c
监视该过程。
使用部分数据启动流程后,我可以看到所有工作程序都在运行,但是如果我尝试使用我的600万观察值,则该流程
输出[Parallel(n_jobs=-1)]: Using backend LokyBackend with 128 concurrent workers.
从多个工作程序开始,然后过一会儿仅使用1个内核。如果我仅使用〜200k观测值,则该过程将使用所有核心。为什么大型数据集不能使用所有核心?