Python + Distributed - 是否可以使用Dask利用一组worker来同时应用函数来从文件夹中分离文件

时间:2017-11-28 22:12:17

标签: python concurrency dask distributed-system dask-distributed

我想编写一个程序来计算读取.py文件夹的时间并计算每个文件的圈复杂度。我安装了Radon来计算复杂性,但我也希望能够实现一个创建一组n个worker的分布式系统,其中每个worker在文件夹中都有一个单独的文件,然后使用radon计算。

我在分布式系统中使用dask,并且想知道是否有可能实现我上面提到的问题。即如果我有一个10 .py文件的文件夹,我可以创建1个工作程序,它将读入所有文件并计算复杂性,然后我的程序将记录执行该操作所花费的时间。或者我可以指定10个将寻找工作的工作节点(即要计算的文件),每个节点将获取一个文件并同时运行,然后程序将记录执行该操作所花费的时间。

我使用dask设置了基本程序,它调用了一个函数,但我不确定你是否可以给出一个项目列表,这些项目分布在一个set worker上,然后调用该函数并返回结果。

这是否可以使用dask?

1 个答案:

答案 0 :(得分:0)

是的,这是可能的。我建议阅读有关dask.delayed或dask期货的文档: