使用多个CPU的Scikit学习机器学习模型训练

时间:2018-09-03 09:17:14

标签: python amazon-web-services amazon-ec2 scikit-learn multiprocessing

我想通过使用高端EC2实例来减少模型的训练时间。因此,我尝试使用2个CPU的c5.18xlarge实例并使用参数n_jobs=-1运行一些模型,但是我注意到只使用了一个CPU:

enter image description here

我可以以某种方式使Scikit学习使用所有CPU吗?

1 个答案:

答案 0 :(得分:1)

尝试添加:

import multiprocessing
multiprocessing.set_start_method('forkserver')
在运行或导入任何内容之前,先在代码顶部

。这是python中多处理的一个众所周知的问题。