具有n_jobs = -1内核的GridSearchCV重新启动

时间:2020-11-04 13:25:36

标签: python scikit-learn jupyter anaconda3

我正在使用以下设置的Azure计算机中运行Jupyter Notebook:

  • 操作系统:Ubuntu 18.04.5 LTS
  • 内存:64Gb
  • 核心数:16
  • Anaconda环境
  • 体系结构:x86_64
  • CPU操作模式:32位,64位
  • 字节顺序:小尾数
  • CPU:16
  • 在线CPU列表:0-15
  • 每个核心的线程数:2
  • 每个插槽的核心:8
  • 插槽:1
  • NUMA个节点:2
  • 供应商ID:AuthenticAMD
  • CPU系列:23
  • 型号:49
  • 型号名称:AMD EPYC 7452 32核处理器
  • 步进:0
  • CPU MHz:2345.605
  • BogoMIPS:4691.21
  • 管理程序供应商:Microsoft
  • 虚拟化类型:完整
  • 一级缓存:32K
  • L1i缓存:32K
  • 二级缓存:512K
  • L3高速缓存:16384K
  • NUMA node0个CPU:0-7
  • NUMA node1 CPU:8-15

我正在尝试像这样启动GridSearchCV:

# DecissionTreeClassifier
arbol = DTC()
grid_arbol = {"max_depth":list(range(5,15)),
                "class_weight":["balanced"]}
gs_arbol = GridSearchCV(arbol,
                        grid_arbol,
                        cv=2,
                        scoring=scoring,
                        verbose=4,
                        n_jobs=-1) # -1 should use all cores (16)
grid_search.fit(X_training, y_training)

启动此代码后,内核将重新启动。我必须更改n_jobs = 8(内核总数的一半)才能正确启动此GridSearchCV。

问题是我想使用所有CPU内核(以及所有运行内存),但是我找不到从Ubuntu使用它们的线索。

是否可以通过所有n_jobs启动OS / Jupyter / Python / Anaconda选项?

预先感谢

0 个答案:

没有答案