我终于将Airflow从v1.8升级到v1.10。我们大量使用BashOperator来运行脚本,这些脚本会产生大量输出(进度状态,操作,错误报告),这些输出会显示在保存到S3的任务日志中。
升级后,这种情况不再发生。正在创建日志文件,但未记录脚本的输出。当发生错误时,将记录气流错误;类似于“ bash命令失败”。脚本产生的错误消息不存在。
输出的处理方式是否与文档中未显示的方式不同?我可能错过了从v1.8到v1.10的设置更改吗?还是我应该看的其他东西?
以下是一些活动的日志记录设置:
logging_level = WARN
remote_logging = TRUE
remote_base_log_folder = s3://xxxxxx-import-logs
remote_log_conn_id = xxxxxx_s3_conn
encrypt_s3_logs = False
答案 0 :(得分:0)
我将日志记录级别更改为INFO,现在正在按升级前的状态记录输出。