Question

我有两个dask数组，即a和b。我得到a和b的点积，如下所示

>>>z2 = da.from_array(a.dot(b),chunks=1)
>>> z2
dask.array<from-ar..., shape=(3, 3), dtype=int32, chunksize=(1, 1)>

但是当我做的时候

sigmoid(z2)

Shell停止工作。我甚至无法杀死它。 Sigmoid如下：

def sigmoid(z):
        return 1/(1+np.exp(-z))

Answer 1

知道了......我尝试过它有效！

ans = z2.map_blocks(sigmoid)

Answer 2

使用Dask Arrays时，通常最好使用dask.array中提供的函数。直接使用NumPy函数的问题是它们会将数据从Dask数组拉入内存，这可能是您遇到的shell冻结的原因。 dask.array中提供的功能旨在通过懒惰链接计算来避免这种情况，直到您希望对它们进行评估。在这种情况下，最好使用da.exp代替np.exp。提供了以下示例。

提供了代码的修改版本，以演示如何完成此操作。在示例中，我调用了.compute()，它还将完整结果提取到内存中。如果您的数据非常大，这可能也会导致问题。因此，我已经演示了在调用compute之前获取一小部分数据以保持结果小且对内存友好。如果您的数据很大并且您希望保留完整的结果，则建议将其存储到磁盘中。

希望这有帮助。

In [1]: import dask.array as da

In [2]: def sigmoid(z):
   ...:     return 1 / (1 + da.exp(-z))
   ...: 

In [3]: d = da.random.uniform(-6, 6, (100, 110), chunks=(10, 11))

In [4]: ds = sigmoid(d)

In [5]: ds[:5, :6].compute()
Out[5]: 
array([[ 0.0067856 ,  0.31701817,  0.43301395,  0.23188129,  0.01530903,
         0.34420555],
       [ 0.24473798,  0.99594466,  0.9942868 ,  0.9947099 ,  0.98266004,
         0.99717379],
       [ 0.92617922,  0.17548207,  0.98363658,  0.01764361,  0.74843615,
         0.04628735],
       [ 0.99155315,  0.99447542,  0.99483032,  0.00380505,  0.0435369 ,
         0.01208241],
       [ 0.99640952,  0.99703901,  0.69332886,  0.97541982,  0.05356214,
         0.1869447 ]])

dask数组上的数组操作

2 个答案: