将参数传递给luigi config

Question

我有一个luigi config文件，我想以某种方式提供文件名，并希望使用该文件构造几个路径，以便不要在该文件的多个位置进行编辑。配置文件示例：

https://github.com/spotify/luigi/blob/master/examples/config.toml

也许在第14行上显示了它，但是即使我正在寻找它，也不清楚如何在此处提供变量。我可以只在顶部定义它然后使用吗？我想做这样的事情：

file_name = 'batch9'

[TaskName]
source_path = hdfs://[file_name].vcf
dest_path = hdfs://[file_name].mt

...

甚至可以从调用命令本身获得它（尽管对我来说不是绝对必要的）。

Answer 1

目前，Luigi没有办法明确地执行此操作（我也想执行此操作）。但是，有几种解决方法。一种是您可以将配置创建为模板（几乎已经拥有），然后将模板构建到使用变量的新文件中。然后将新文件导出为用于配置的文件。在构建luigi甚至执行任何任务之前，所有这些都会在您的主要功能中发生。