将气流事件流式传输到消息队列

Question

我的目标是轻松将事件从Airflow导出到其他系统。一种选择是创建一个可以访问Airflow内部状态并通过Rest API公开它的插件（有一些现有的实现），但是我更关心的是是否有可能插入Airflow的事件日志并将其流化邮件发送到外部邮件队列（例如Kafka，PubSub，Kinesis）。

Answer 1

我能想到的最简单的方法是使用sqlalchemy.event.listens_for装饰器，该装饰器连接到各种Airflow模型，并过滤您要转移到消息队列的模型事件。

您可以在airflow_local_settings模块中执行此操作，以使其在启动时自动加载。然后，在您的airflow.cfg文件中放置一些额外的配置值，以驱动远程消息队列的设置。