在dask数组的切片上运行函数

时间:2018-09-05 17:49:18

标签: python-3.x dask dask-delayed

我一直试图弄清楚如何在dask数组的切片上执行函数。例如,如果我创建以下dask数组:

import numpy as np
import dask.array as da
x = da.random.normal(10, 0.1, size=(200, 4),chunks=(100, 100)) 

并定义函数:

#test function
def test(x,y,z=4):
    return x*y+z, z*y

执行

a,b = test(x[:,0],x[:,1])
a.compute()
b.compute()

可以正常工作,但是如果我尝试将这些结果分配回x,则该函数将失败:

x[:,0],x[:,1] = test(x[:,0],x[:,1])

引发NotImplementedError:不支持的项目分配 我有办法解决这个问题吗? 谢谢

1 个答案:

答案 0 :(得分:1)

对于Dask来说,变异不是正常的工作流程:您将需要创建可以输入并返回新值的函数,例如

def test(x,y,z=4):
    return x*y+z, z*y

a, b = test(x[:, 0], x[:, 1])
out = da.hstack([a.reshape(200, 1), b.reshape(200, 1), 
                 x[:, 2].reshape(200, 1), x[:, 3].reshape(200, 1)])

(或

out = da.vstack([a, b, x[:, 2], x[:, 3]]).T