Dask与频道和内存使用共享未来

时间:2017-01-23 17:23:12

标签: python distributed dask

我正在玩“Shared Futures With Channels”中描述的dask功能。

如文件中所述,我设法提交期货并将其添加到渠道。然后从另一个客户端我设法运行未来并从中获取结果。

在我的用例中,可能会有很多期货加载到频道。 当我查看调度程序时,我看到内存使用量增长甚至并保持高位,即使在我得到结果之后。

有没有办法从渠道卸载期货?

1 个答案:

答案 0 :(得分:1)

截至2017年1月,没有机制可以清除渠道中的特定期货,但可能会增加。您可能想提出问题here

您还可以考虑使用maxlen=参数

创建最大长度的频道
chan = Channel('my-channel', maxlen=100)

首次创建频道时,您需要执行此操作。