我一直试图在单个本地计算机上管理Dask的内存使用情况。由于某种原因,默认的Dask Client()和LocalCluster()调度程序似乎总是中断,但是Dask在不指定调度程序的情况下也能很好地工作,因此默认调度程序对我的目的是最好的,但是我发现几乎没有关于此缺省值的文档调度程序更不用说如何对其设置RAM限制了。所有信息都是针对他们似乎无法正常工作的专用分布式客户端的。有谁知道默认调度程序文档的位置/位置,或者什至用作默认调度程序的内容(因为我什至无法在其站点/文档中找到该信息)。或者,如果没有,是否有人找到了不使用Client()来限制RAM使用量的解决方案?
欢呼
答案 0 :(得分:1)
为了控制本地dask群集中的内存限制,我使用以下设置:
ncores = 2
cluster = LocalCluster(n_workers=ncores, threads_per_worker=1,memory_limit =8e9)
client=Client(cluster)