我有一个dask Client的工作人员。
我想分两步进行计算：
1）每个工作人员运行一次预计算代码（吃掉小的设置对象，计算缓慢并生成相当大的中间结构），并将中间数据保存在每个工作人员上。
2）运行计算功能（比预先计算快得多，每个工作人员运行多次，并使用保存在每个工作人员上的中间数据）。
我该怎么做？
答案 0 :(得分：1)
您无需为此做任何特殊的事情。 Dask竭尽全力将任务安排在已经存在这些任务所需数据的工作者上。还可以采用试探法来比较数据的大小，任何工作积压的传输速度，以决定何时应该将数据复制到另一个工作人员。
除非遇到工作分配方面的特定问题，否则很可能只需做正常的事情：使用delayed，集合或Futures接口编写依赖于输入的函数，就可以合理地安排工作你。