Question

我正在使用dask_dataframe.map_partitions在Mac上的Dask上运行Python进程。系统CPU超过70％，并且总体运行时间比预期的慢。有什么特别的吗？

Processes: 516 total, 4 running, 4 stuck, 508 sleeping, 4051 threads                                                                            17:01:05
Load Avg: 8.96, 8.63, 8.87  CPU usage: 24.29% user, 71.74% sys, 3.96% idle   SharedLibs: 183M resident, 49M data, 30M linkedit.
MemRegions: 280712 total, 7256M resident, 122M private, 2408M shared. PhysMem: 15G used (3646M wired), 1216M unused.
VM: 3934G vsize, 1298M framework vsize, 337943173(128) swapins, 424866150(0) swapouts. Networks: packets: 54072553/576G in, 52411813/575G out.
Disks: 13274682/1405G read, 10823134/1690G written.
PID    COMMAND      %CPU      TIME     #TH    #WQ   #PORT MEM    PURG   CMPRS  PGRP  PPID  STATE    BOOSTS           %CPU_ME %CPU_OTHRS UID  FAULTS
13116  python3.7    955.1     02:01.53 90/17  1     124   721M-  0B     0B     5984  5984  running  *0[1]            0.00000 0.00000    504  1624296+

除python进程外，我看不到其他使用大量CPU的进程

如果我不在Dask上运行相同的代码，则看不到较高的系统CPU使用率，因此我想知道在运行Dask时系统会做什么。

Answer 1

如果

python一次又一次地定义变量，它将占用大量内存。如果您的程序中有嵌套循环，也可能会花费很多时间。也许这是问题吗？

使用大量系统CPU进行操作

1 个答案: