清除Luigi任务可视化缓存

时间:2017-09-27 16:24:40

标签: python luigi

我正在使用Luigi测试管道,并且我在任务可视化工具中发现了奇怪的缓存行为。首先,任务似乎停留在缓存中一段时间​​,有时与管道的第二次运行中的任务重叠,导致UI混乱。我还注意到,当两个管道连续运行时,需要一段时间才能显示新管道中的任务。有没有办法在每次运行之前手动重置缓存?是否有一个配置变量来设置任务在到期之前缓存多长时间?

1 个答案:

答案 0 :(得分:4)

您可以使用调度程序的remove_delay设置。在配置文件中:

[scheduler]
remove_delay = 10

这适用于调度程序,因此您需要重新启动luigid才能启用它。

来自doc:

  

删除没有的任务之前等待的秒数   利益相关者。默认为600(10分钟)。

根据经验,这种情况下的利益相关者似乎意味着工人和上游/下游的依赖关系。