如何将dask.dataframe与自定义dsk图一起使用

Question

我试着改写一下我的问题：

如何将dask.dataframe与zip等函数结合使用？

假设我们有一个名为＆＃34; accounts.0.csv＆＃34;的文件。以下数据

id,names,amount
352,Dan,4837
387,Tim,208
42,Jerry,21
129,Patricia,284

我写了这段代码

import dask.dataframe as dd
import itertools
from dask.threaded import get


df = dd.read_csv('accounts.0.csv')

dsk = {'a': (dd.read_csv,('accounts.0.csv')),       
       'b': (itertools.repeat,(True)),       
       'res': (zip, 'a'[id],'b')       
       }

get(dsk, 'res')

此代码应生成如下内容：

352, True
387, True
42 , True
129, True

我该怎么做？

Answer 1

你需要提升＆＃34; （从Haskell中的Monads借用术语）迭代器从计算内部出来，dask在开始任何计算之前构建任务列表，因此你需要从＆＃34;外部＆＃34;得到迭代器。任何计算。您拨打compute的电话可以让您在外面＆＃34; dask这就是为什么有效。

我不确定一个好的例子，因为你做的事情取决于接下来的其他任务，但作为一个不太好但很小的例子：

import dask.imperative as di

arr = []
for col in df:
    arr.append(ddf[col].map(lambda x: (x,True)))
task = di.value([])+arr

创建一个映射每个系列中的值的任务列表。然后使用命令式模块将任务包装在一个任务中 - 无法找到更好的方法，对不起！

然后，您可以compute任务获取系列列表，或者将其用于其他内容。

Answer 2

改述问题

我会尝试将您的问题改写如下：

如何将dask.dataframe与自定义dask图组合在一起？

df = dd.read_csv('myfile.csv')
dsk = {'x': (add, 1, 2)}

数据框是一个高级集合，dask图是更低级的。我们必须把一个带到其他人的水平。

使用dask命令

我们可以使用dask.imperative将自定义函数转换为高级别的dsak对象

# dsk = {'x': (inc, 1, 2)}
x = dask.do(add)(1, 2)

然后，您可以在一个或两个对象上使用dask.compute。

x_result = dask.compute(x)
or
df_result = dask.compute(df)
or
x_result, df_result = dask.compute(x, df)

到处使用低级dask图

可以从.dask和._keys()属性访问任何DataFrame对象的底层图和最终键。

from toolz import merge
graph = merge(dsk, df.dask)  # merge both graphs together
keys = ['x', df._keys()]     # final keys to compute

x_results, df_results = get(graph, keys)

df_result = df._finalize(df_results)  # turn graph outputs back to pandas dataframe

Answer 3

Zip适用于Python迭代器，而不是Pandas或Dask DataFrame。

要实现上面的示例，您可以使用assign方法

熊猫

In [1]: import pandas as pd

In [2]: df = pd.DataFrame({'x': [1, 2, 3]})

In [3]: df
Out[3]: 
   x
0  1
1  2
2  3

In [4]: df.assign(y=True)
Out[4]: 
   x     y
0  1  True
1  2  True
2  3  True

dask.dataframe

In [5]: import dask.dataframe as dd

In [6]: ddf = dd.from_pandas(df, npartitions=1)

In [7]: ddf.assign(y=True).compute()
Out[7]: 
   x     y
0  1  True
1  2  True
2  3  True

通常不要将图表与数据帧混合

像dsk = {...}这样的字典样式图不应与dask.dataframe对象混合使用。 dask.dataframe对象在内部使用图形。不应将它们放在其中。