从Airflow DAG登录到单独的自定义日志文件

时间:2019-09-06 20:31:57

标签: airflow python-logging

我们有许多python进程都实现了通用的记录器设置,该记录器将所有内容记录到同一文件中,并每天轮换该文件。

我们最近开始切换到使用Airflow。最初,我们使用BashOperators,但我们想开始使用PythonOperators来利用Airflow的更多功能。但是,当我们从DAG调用日志记录设置时,似乎没有应用日志记录设置。我尝试了许多方法,从在DAG的顶部调用our_custom_logging.setup()到将其放入python可调用类:

def python_callable():
    our_custom_logging.setup()
    run_job()

看来,这仍然总是总是在标准的Airflow日志位置结束。我知道如何更改Airflow日志配置,但我们仍然希望这些日志存储在UI中并可见,因此理想情况下,我们只想在Airflow的旁边添加其他日志处理。这有可能吗?

0 个答案:

没有答案