Question

我们正在考虑使用dask，特别是它的懒惰计算和dag功能。

我们有一个中等复杂的计算dag，未知输入。我们希望能够提前构建它，然后在不同的输入上使用它。

我认为我们可以使用dict / tuple接口执行此操作：

from dask.threaded import get
import pandas as pd
power = lambda x, y: x**y

dsk = {'x': pd.Series(pd.np.random.rand(20)),
       'y': 2,
       'z': (power, 'x', 'y'),
       'w': (sum, ['x', 'y', 'z'])}

然后我们将dsk作为便携式dag，并且可以用我们想要的任何内容替换x。（事实上，我们最初并不需要将它包含在上面）。

dsk['x'] = pd.Series(pd.np.random.rand(20))
get(dsk, 'w')

但我们可以使用dask.imperative执行此操作吗？我的初步结果表明我们无法访问x：

x=pd.Series()

def filter_below_3(ds):
    return ds[ds<3]

f=do(filter_below_3)
graph=f(x)

graph.dask
# {'filter_below_3-0ae5a18c-206d-4293-84b6-eb0d39243296': (<function __main__.filter_below_3>,  [])}

有办法吗？

Answer 1

修改

很久以前，

dask.do和dask.value都重命名为dask.delayed。有关详细信息，请参阅changelog。

原始答案

目前在dask.imperative中没有标准的方法来换出叶子值。但是，有几个不错的选择。

切换到dict / tuple接口

Dask.imperative只是为你建立一个字典。您可以在构造字典后交换值。

from operator import add, mul
from dask import do, value
from dask.threaded import get

input = value('dummy-value', name='my-special-input')
x = do(add)(input, 1)
y = do(mul)(x, x)
dsk = y.dask

>>> dsk['my-special-input'] = 10
>>> get(dsk, y.key)
121

使用功能

所有dask命令图应该相当便宜。您可以创建一个函数来为每个输入生成图形

def f(input):
    x = do(add)(input, 1)
    y = do(mul)(x, x)
    return y

>>> f(10).compute()
121

是否可以使用dask命令来构建函数图，然后再提供输入？

1 个答案:

修改

原始答案

切换到dict / tuple接口

使用功能