将dask.compute与一系列延迟项一起使用

时间:2018-06-29 21:11:46

标签: dask

目前,我可以创建(嵌套)对象列表,这些对象是急切计算的项目和延迟的项目的组合。

如果我将该列表传递给key3:value3; key4:value4;,它可以创建图形并将结果计算为新列表,将延迟项替换为计算出的对应项。

该列表具有定义良好的结构,我想利用它。因此,在使用Dask之前,我一直在将numpy数组与dask.compute一起使用。

我可以将这些numpy数组传递给dtype=object吗? 还有其他可以支持ND切片àla numpy 的集合吗?

我目前的解决方法是使用字典或嵌套列表,但是切片numpy数组的功能确实非常好,我不想松开它。

谢谢

标记

code example as notebook

1 个答案:

答案 0 :(得分:1)

Dask.compute当前仅在核心Python数据结构(如列表和字典)中搜索。它不会搜索Numpy数组。

您可以考虑使用Numpy数组直到最后,然后调用.tolist(),然后再次调用np.array。

结果= dask.compute(* x.tolist())    结果= np.array(结果)