在函数apply_ufunc的xarray documentation中,它表示:
dask: ‘forbidden’, ‘allowed’ or ‘parallelized’, optional
How to handle applying to objects containing lazy data in the form of dask arrays:
‘forbidden’ (default): raise an error if a dask array is encountered.
‘allowed’: pass dask arrays directly on to func.
‘parallelized’: automatically parallelize func if any of the inputs are a dask array.
If used, the output_dtypes argument must also be provided.
Multiple output arguments are not yet supported.
,在Parallel Computing上的文档页面中,有一条注释:
对于大多数已经由dask包装的NumPy函数,使用预先存在的dask.array函数通常是一个更好的主意,方法是使用预先存在的xarray方法或带有dask ='allowed的apply_ufunc() '。与dask ='parallelized'提供的通用加速功能不同,Dask通常可以利用问题的特殊结构进行更有效的实现。
但是,我仍然不清楚这两个选项之间的区别。 allowed
仍在逐块操作以降低内存使用率吗?如果应用的ufunc仅使用dask操作,allowed
仍会并行化吗?为什么parallelized
比output_dtypes
要求您提供更多关于ufunc输出的信息(即参数output_sizes
,allowed
)?
答案 0 :(得分:1)
dask='allowed'
意味着您正在应用已经知道如何处理dask数组的函数,例如,根据dask.array
操作编写的函数。在大多数情况下,这确实意味着该函数将逐块操作以降低内存使用率,并将并行应用计算。
dask='parallelized'
需要用户更多信息,因为它使用atop
之类的低级dask.array函数来创建自己的包装程序,该包装程序允许提供的函数作用于dask数组上。使用dask='parallelized'
,您可以提供一个仅知道如何处理NumPy数组的函数,而xarray.apply_ufunc
也会将其扩展为处理dask数组。