Luigi在代码

时间:2017-12-05 18:18:37

标签: python-3.6 luigi

我已将一套luigi任务包装成一个包裹。目前,每个etl-task都在同一目录中拥有它自己的luigi.cfg,但由于所有这些.cfg文件都相同,所以它看起来不是最理想的。最重要的是,我更喜欢从不同的包/环境var中编写S3凭证,而不是在git中存储平面文件。

从包中设置luigi的默认/常规配置的最佳方法是什么?

看起来luigi.Configluigi.interface.core包很有前途,但我仍然不确定我需要在哪里执行/启动它们。

1 个答案:

答案 0 :(得分:1)

您可以尝试使用

[{"1":[1,8,9]}, {"2":[8,10]}]

在运行的实例中。 您可以使用

访问相同的数据
luigi.configuration.get_config().set('core', 'some_key', 'some_value')