我一直在尝试在调用运行时添加--scheduler-remove-delay参数到job.cfg我添加了remove-delay属性
[调度] record_task_history =真 remove-delay = 86400.0
但这些似乎都不起作用。有什么想法吗?
这里已经有一个类似的问题 -
答案 0 :(得分:0)
文档中有拼写错误(“remove-delay”而不是remove_delay“)在https://github.com/spotify/luigi/issues/2133
下修复您需要在配置文件中添加以下内容:
[scheduler]
record_task_history = True
state_path = /x/s/hadoop/luigi/var/luigi-state.pickle
remove_delay = 86400