将tqdm与dask一起使用

Question

我使用以下代码并行化图像处理功能：

from dask.distributed import Client
from dask.distributed import progress

def processImage(image_in_path, image_out_path)
    im = read_image(image_path)
    im_processed = gradient(im)
    write_image(im, image_out_path)

client = Client()

in_list = list_image(dir_path)
out_list = ...
comp = client.map(processImage, in_list, out_list)
progress(comp)

由于我已经在代码中使用了tqdm，并且喜欢它的功能，是否可以使用它来绘制这种计算的进度？

我已经看到this post链接到tqdm pull request，但我认为这是针对敏捷本地用户的，而不是针对分布式用户的。因此，它不是为分布式接口创建的。也许我想念一些东西...

我花了一些时间来完成进度，但是我不清楚如何将tqdm插入其中...

任何解决方案吗？

非常感谢

Answer 1

如您所建议，您可以按照实现dask的progress函数的相同方式来实现tqdm进度条。您可能希望使用feed路由来获取工作完成时的更新提要。