我有一个很小的Dask定制应用程序(DAG中约有20个节点)。我希望能够以某种方式保留该函数的所有中间结果,以供将来检查,因为有时我们想知道为什么达到最终答案。除了在返回函数之前将结果推送到Redis(或类似工具)之外,Dask中是否还有其他良好的模式?
答案 0 :(得分:1)
您可以计算中间结果以及最终结果。
a = dask.delayed(inc)(1)
b = dask.delayed(inc)(2)
c = dask.delayed(add)(a, b)
dask.compute(c) # only return c, releasing a and b as soon as possible
dask.compute(a, b, c) # return all three