我在Windows 8 64位上使用python 2.7
运行ipython
,系统有4个核心。在拟合scikit-learn
模型时,CPU使用率为50%,python
为25%,Chrome
为25%。
为什么chrome
使用的资源与python
一样多?
是否存在scikit-learn
模型拟合函数的多线程版本,因此利用多核可以像设置变量一样简单吗?像...
grid_search = GridSearchCV(pipeline, parameters, n_jobs=-1)
答案 0 :(得分:9)
很少有sklearn模型可以自己并行运行。在非GridSearchCV
交互式python会话中n_jobs=-1
或n_jobs=4
的{{1}}(例如在脚本中)[1]应该能够在Windows下进行多处理(只要例如,基础个人__main__
调用的持续时间超过1秒。
chrome的东西可能不相关:如果你不想让它使用任何CPU,只需关闭chrome。你可能有一个标签在后台执行一些javascript或bug的flash应用程序。
[1] http://docs.python.org/2/library/multiprocessing.html#windows