我正在使用Luigi测试管道,并且我在任务可视化工具中发现了奇怪的缓存行为。首先,任务似乎停留在缓存中一段时间,有时与管道的第二次运行中的任务重叠,导致UI混乱。我还注意到,当两个管道连续运行时,需要一段时间才能显示新管道中的任务。有没有办法在每次运行之前手动重置缓存?是否有一个配置变量来设置任务在到期之前缓存多长时间?
答案 0 :(得分:4)
您可以使用调度程序的remove_delay设置。在配置文件中:
[scheduler]
remove_delay = 10
这适用于调度程序,因此您需要重新启动luigid才能启用它。
来自doc:
删除没有的任务之前等待的秒数 利益相关者。默认为600(10分钟)。
根据经验,这种情况下的利益相关者似乎意味着工人和上游/下游的依赖关系。