写入Airflow日志

Question

在Airflow中写入日志的一种方法是从第44行here上的PythonOperator返回一个字符串。

是否还有其他方法可以写入气流日志文件？我发现打印语句没有保存到日志中。

Answer 1

您可以将日志记录模块导入代码并以这种方式写入日志

import logging

logging.info('Hello')

以下是更多选项

import logging    

logging.debug('This is a debug message')
logging.info('This is an info message')
logging.warning('This is a warning message')
logging.error('This is an error message')
logging.critical('This is a critical message')

Answer 2

您可以使用气流记录仪

import logging


logger = logging.getLogger("airflow.task")
logger.error("Your custom error")

Answer 3

您可以使用一个记录器混合类：

https://github.com/apache/airflow/blob/main/airflow/utils/log/logging_mixin.py

from airflow.utils.log.logging_mixin import LoggingMixin

LoggingMixin().log.info("Hello")

然后在气流日志中你会看到：

[2021-07-07 15:55:42,370] {{logging_mixin.py:112}} INFO - Hello