Luigi Visualiser坚持工作一天

时间:2016-10-19 19:58:39

标签: python amazon-data-pipeline luigi

我一直在尝试在调用运行时添加--scheduler-remove-delay参数到job.cfg我添加了remove-delay属性

  

[调度]   record_task_history =真   remove-delay = 86400.0

但这些似乎都不起作用。有什么想法吗?

这里已经有一个类似的问题 -

Persist Completed Pipeline in Luigi Visualiser

1 个答案:

答案 0 :(得分:0)

文档中有拼写错误(“remove-delay”而不是remove_delay“)在https://github.com/spotify/luigi/issues/2133

下修复

您需要在配置文件中添加以下内容:

[scheduler]
record_task_history = True
state_path = /x/s/hadoop/luigi/var/luigi-state.pickle
remove_delay = 86400