我已将一套luigi任务包装成一个包裹。目前,每个etl-task都在同一目录中拥有它自己的luigi.cfg
,但由于所有这些.cfg
文件都相同,所以它看起来不是最理想的。最重要的是,我更喜欢从不同的包/环境var中编写S3凭证,而不是在git中存储平面文件。
从包中设置luigi的默认/常规配置的最佳方法是什么?
看起来luigi.Config
和luigi.interface.core
包很有前途,但我仍然不确定我需要在哪里执行/启动它们。
答案 0 :(得分:1)
您可以尝试使用
[{"1":[1,8,9]}, {"2":[8,10]}]
在运行的实例中。 您可以使用
访问相同的数据luigi.configuration.get_config().set('core', 'some_key', 'some_value')