我们有许多python进程都实现了通用的记录器设置,该记录器将所有内容记录到同一文件中,并每天轮换该文件。
我们最近开始切换到使用Airflow。最初,我们使用BashOperators,但我们想开始使用PythonOperators来利用Airflow的更多功能。但是,当我们从DAG调用日志记录设置时,似乎没有应用日志记录设置。我尝试了许多方法,从在DAG的顶部调用our_custom_logging.setup()
到将其放入python可调用类:
def python_callable():
our_custom_logging.setup()
run_job()
看来,这仍然总是总是在标准的Airflow日志位置结束。我知道如何更改Airflow日志配置,但我们仍然希望这些日志存储在UI中并可见,因此理想情况下,我们只想在Airflow的旁边添加其他日志处理。这有可能吗?