创建后是否可以将工作人员资源分配给敏捷的分布式工作人员?

时间:2019-04-09 23:44:53

标签: dask dask-distributed

按照标题,如果我通过掌舵或kubernetes创建工人,是否可以在创建工人之后分配“工人资源”(https://distributed.readthedocs.io/en/latest/resources.html#worker-resources)?

用例是命中数据库的任务,我想限制在给定运行中能够命中数据库的进程数量,而不限制集群的总大小。

1 个答案:

答案 0 :(得分:0)

截至2019年4月9日,没有标准的方法可以执行此操作。您已经找到了使用合理的Worker.set_resources方法。最终,我也希望Worker插件能够处理此问题,但尚未实现。

对于您的控制对数据库访问的应用程序,听起来好像您真正想要的是一个信号灯。您可能会help build one(考虑到当前的Lock实现,实际上相当简单),也可以使用Dask Queue模拟一个。