我正在使用LocalCluster，网络中有大约100个工作人员。工作程序具有不同的内存容量（4g-64g），当我加载大量数据时，一些小型工作程序会暂停，整个过程都会卡住，无法恢复。
“溢出到磁盘”功能也无济于事，因为它发生得太快而无法提供帮助。此外，我不想不必将任何内容溢出到磁盘上，因为这会使整个过程变得很慢。 事实是，有很多工作人员的内存使用率为25％，而总有一小部分工作人员被卡住。
我希望暂停状态的功能如下：
工作人员不会获得任何新任务。
如果可能，工作人员会将当前任务传递给其他工作人员。
暂停的工作程序仍可用于调度程序中的持久性内存调用。
永远不要因为工作者暂停而使当前任务卡住。
我能否实现以上所有目的，但仍然避免使用Dask溅到磁盘上？
谢谢！