中央电子邮件通知气流

Question

我们正在AWS环境中使用apache气流来调度作业。 Airflow在任务级别提供故障通知。但是，我想在气流水平上配置通知。因此，即使dag没有配置任何通知，如果任何DAG失败，某些组也会收到通知。

我正在为此关注。

1. 将日志重定向到s3
2. 监听新日志文件的AWS Lambda
3. 解析日志文件，如果包含错误，则发送通知

问题是。 如果安装了aws lambda，则一旦创建文件，它将触发lambda，并且可能没有完整的日志文件。

否则，我想将日志推送到cloudwatch并从中发出警报。

不确定如何实现。我也没有从AWS工程师那里获得信息。